★ 3
Scale AI 审计发现刷分后从 SWE-Bench Pro 删除 89 项任务
Scale AI 在审计发现基准被「刷分」后,从 SWE-Bench Pro 中删除了 89 项任务,随后又对自己的修复方案进行评分。事件引发对编码基准测试可靠性与数据污染的讨论。
Hacker News – AI24 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
Scale AI 在审计发现基准被「刷分」后,从 SWE-Bench Pro 中删除了 89 项任务,随后又对自己的修复方案进行评分。事件引发对编码基准测试可靠性与数据污染的讨论。
硅谷101 播客邀请 Scale AI 研究总监何允中与伯克利博士后孙一铀,拆解 AI 训练数据行业的商业模式。节目讨论 AfterQuery 估值从 3 亿涨至 32 亿美元、Bespoke Labs 融资 4000 万美元,以及 Rubric 评分标准、强化学习环境、benchmark 刷分与…