★ 3
用Rasch测量理论评估大语言模型
该论文提出用Rasch测量理论（RMT）评估大语言模型在作为考生、裁判和评分者时的表现。研究发现LLM与人类评分者在严重性、项目校准、问题顺序稳健性等方面存在系统性差异。RMT能识别校准错误和评分者偏差，应纳入LLM评估工具包。
arXiv cs.AI63 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该论文提出用Rasch测量理论（RMT）评估大语言模型在作为考生、裁判和评分者时的表现。研究发现LLM与人类评分者在严重性、项目校准、问题顺序稳健性等方面存在系统性差异。RMT能识别校准错误和评分者偏差，应纳入LLM评估工具包。