★ 3
研究揭示无标签评估盲点：高一致性错误答案
论文检验一致性可作为正确性代理的假设，使用四个金融问答数据集、十个一致性维度与两个前沿模型家族，发现 60% 的错误答案落在高一致性区域，其中 77.7% 出现完全答案坍缩。该高一致性/错误象限无法被任何基于一致性的评估信号检测，对依赖一致性替代人工标注的评估流程提出警示。
arXiv NLP17 天前
#无标签评估
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
LLM 评委可信吗：能力相关偏差与多评委校准
研究聚焦绝对评分场景下的 LLM-as-a-judge 偏差，覆盖 4 个基准、6 个模型共 36 组评委-考生配对。发现模型任务准确率越高，评判准确率越高、方向性偏差越小，但能力更强的考生会系统性获得更宽松的评分。作者提出校准加权多数投票（WMV），仅凭评委间一致性模式估计假阳/假阴率，无需真值…
arXiv cs.LG49 天前
★ 2
无标签可靠性估计：语言模型集成如陪审团
论文提出将语言模型集成视为陪审团而非选民，通过专家间一致与分歧模式，用期望最大化（EM）从无标签答案配置中估计各专家可靠性。在 1560 题基准上，九个最多 3B 参数的专家模型表现与标签拟合权重相当，且优于最佳单模型与最强无标签替代方案。
arXiv NLP17 天前