★ 3
Tampered ML 基准：评测 LLM 判断 ML 研究缺陷能力
论文提出 Tampered ML 基准，含 1858 组条目对，每组由已发表论文重构的实验提案与引入针对性方法缺陷的微改反事实组成，要求模型判断哪个更严谨。人类验证估计 86% 条目有效。前沿模型高于随机但远不可靠，Opus 5 准确率 77.9%，且对呈现顺序高度敏感，偏好看似更具体透明的缺陷设…
arXiv NLP7 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Tampered ML 基准，含 1858 组条目对，每组由已发表论文重构的实验提案与引入针对性方法缺陷的微改反事实组成，要求模型判断哪个更严谨。人类验证估计 86% 条目有效。前沿模型高于随机但远不可靠，Opus 5 准确率 77.9%，且对呈现顺序高度敏感，偏好看似更具体透明的缺陷设…
一篇论文比较 AI 驱动的科学研究与人类科学研究的差异，探讨自动化科研在假设生成、验证与方法论上的特点与局限。该讨论关乎 AI 在科学发现中的角色定位。