★ 3
研究：Arena-Hard 用 GPT-4.1 评审，指令微调可致 28% 判定翻转
研究者用 500 条 Arena-Hard v2.0 提示、固定两个模型答案，以 GPT-4.1 为评审测试八种指令组合。默认设置重跑仅使总分变动约 1 分，却有 21.2% 提示的胜负平结果改变；某些指令改动使结果变化比例再增 28.2 个百分点，而总分几乎不动。作者建议重复运行并同时报告总分与…
arXiv NLP10 天前
#评测可靠性
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
PersEvalBench：LLM 评测者能否判断人设使用是否恰当
研究者提出 PersEvalBench，测试 LLM 评测者能否识别用户历史信息使用是否恰当，包含 403 个多轮场景与九类受控错误。结果显示五款 LLM 评测者识别能力有限，欠个性化错误上人类识别率 94.4%，最强评测者仅 63.9%，且常将错误方向弄反。
arXiv NLP18 天前
★ 3
变异分析衡量 GPU 内核基准测试的可靠性
论文指出 LLM 生成 GPU 内核的基准测试仅用少量随机输入和宽松浮点容差判定正确性，却直接影响排行榜与强化学习奖励。作者引入变异分析作为测试充分性度量，向 188 个 KernelBench 问题的 CUDA 实现注入 10303 个可编译故障。结果显示官方检查确定性漏检六分之一故障，精度类故…
arXiv cs.LG41 天前
这个主题的相关资产
相关公司英伟达（Nvidia）1