★ 3
研究：Arena-Hard 用 GPT-4.1 评审，指令微调可致 28% 判定翻转
研究者用 500 条 Arena-Hard v2.0 提示、固定两个模型答案，以 GPT-4.1 为评审测试八种指令组合。默认设置重跑仅使总分变动约 1 分，却有 21.2% 提示的胜负平结果改变；某些指令改动使结果变化比例再增 28.2 个百分点，而总分几乎不动。作者建议重复运行并同时报告总分与…
arXiv NLP10 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者用 500 条 Arena-Hard v2.0 提示、固定两个模型答案，以 GPT-4.1 为评审测试八种指令组合。默认设置重跑仅使总分变动约 1 分，却有 21.2% 提示的胜负平结果改变；某些指令改动使结果变化比例再增 28.2 个百分点，而总分几乎不动。作者建议重复运行并同时报告总分与…