★ 3
Tampered ML 基准：评测 LLM 判断 ML 研究缺陷能力
论文提出 Tampered ML 基准，含 1858 组条目对，每组由已发表论文重构的实验提案与引入针对性方法缺陷的微改反事实组成，要求模型判断哪个更严谨。人类验证估计 86% 条目有效。前沿模型高于随机但远不可靠，Opus 5 准确率 77.9%，且对呈现顺序高度敏感，偏好看似更具体透明的缺陷设…
arXiv NLP7 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Tampered ML 基准，含 1858 组条目对，每组由已发表论文重构的实验提案与引入针对性方法缺陷的微改反事实组成，要求模型判断哪个更严谨。人类验证估计 86% 条目有效。前沿模型高于随机但远不可靠，Opus 5 准确率 77.9%，且对呈现顺序高度敏感，偏好看似更具体透明的缺陷设…