★ 3
LLM 评委可信吗：能力相关偏差与多评委校准
研究聚焦绝对评分场景下的 LLM-as-a-judge 偏差，覆盖 4 个基准、6 个模型共 36 组评委-考生配对。发现模型任务准确率越高，评判准确率越高、方向性偏差越小，但能力更强的考生会系统性获得更宽松的评分。作者提出校准加权多数投票（WMV），仅凭评委间一致性模式估计假阳/假阴率，无需真值…
arXiv cs.LG49 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究聚焦绝对评分场景下的 LLM-as-a-judge 偏差，覆盖 4 个基准、6 个模型共 36 组评委-考生配对。发现模型任务准确率越高，评判准确率越高、方向性偏差越小，但能力更强的考生会系统性获得更宽松的评分。作者提出校准加权多数投票（WMV），仅凭评委间一致性模式估计假阳/假阴率，无需真值…