★ 3
LLM 自我改进循环中的赢家诅咒：选择噪声与接受规则
研究将 LLM 自我改进中「更优则保留」的步骤建模为测量噪声下的选择问题，发现复用评估集会导致赢家诅咒。实验显示，在 Qwen 模型改写自身指令的场景中，首轮之后多数提案实为有害，贪婪循环的选择集得分比留出集高出 13 至 20 分。作者建议自我改进研究应报告带不确定性的留出增益。
arXiv cs.AI25 天前
#评估偏差
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
LLM 评委可信吗：能力相关偏差与多评委校准
研究聚焦绝对评分场景下的 LLM-as-a-judge 偏差，覆盖 4 个基准、6 个模型共 36 组评委-考生配对。发现模型任务准确率越高，评判准确率越高、方向性偏差越小，但能力更强的考生会系统性获得更宽松的评分。作者提出校准加权多数投票（WMV），仅凭评委间一致性模式估计假阳/假阴率，无需真值…
arXiv cs.LG49 天前
这个主题的相关资产
相关公司阿里巴巴1