★ 3
研究审计 51 个多语言基准：36% 语言仅出现在单一基准中
论文对 51 个近期多语言基准、242 个数据集、219 种语言进行数据驱动审计，从覆盖度、代表性、严谨性三方面评估。发现覆盖广而不深，36% 语言只出现在一个基准里，低资源语言仅覆盖 1-3 类任务，56% 数据语言实例由英语翻译而来，且存在基准污染与平行语料重叠问题。作者据此提出原生构建、文化…
arXiv NLP5 天前
#数据污染
共 8 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
★ 3
研究指出 SWE-bench Pro 等编码基准因泄露真值提示而过度指定任务
论文分析编码基准中任务欠指定与过度指定问题，指出 SWE-bench Pro、FEA-bench、Doc2Feat-bench 和 Multi-SWE-bench 通过引入真值提示解决欠指定，反而造成过度指定与剧透，使模型绕过基准本应考察的难点。作者实验不同指定程度并提出简约提示的构造方法，将公开…
arXiv cs.AI13 天前
★ 3
论文工厂影响已开始波及大模型查询结果
爱沙尼亚新闻网站ERR报道称，学术「论文工厂」批量产出的低质论文已多到足以开始影响大语言模型的查询与回答结果。该话题在Hacker News引发讨论，涉及训练数据污染与模型输出可信度问题。
Hacker News – LLM23 天前
★ 3
Scale AI 审计发现刷分后从 SWE-Bench Pro 删除 89 项任务
Scale AI 在审计发现基准被「刷分」后，从 SWE-Bench Pro 中删除了 89 项任务，随后又对自己的修复方案进行评分。事件引发对编码基准测试可靠性与数据污染的讨论。
Hacker News – AI24 天前
★ 3
CleanScore：带负对照与敏感度边界的黑盒基准审计
论文提出 CleanScore，仅凭模型打分输出即可审计基准分数中技能与题目暴露的占比，通过公开题、两个独立改写题及私有负对照库给出优势区间而非简单结论。对五个开源模型在 GSM8K 与 ARC-Challenge 上的注册审计未发现暴露一致优势，表面形式膨胀低于 5 分。但阳性对照显示，植入泄漏…
arXiv cs.LG41 天前
★ 2
AI 基准分数虚高：82% 实为 57%
文章讨论 AI 基准测试分数被系统性高估的问题，指出数据污染、评测设计缺陷等因素导致宣称的 82% 实际可能只有 57%。呼吁读者在解读榜单时进行「打折」处理。
Hacker News – AI31 天前
★ 2
AI生成数据异常下的数据集临界性
研究探讨未来LLM训练数据中大量包含AI生成内容的影响，将AI生成数据视为与主数据点关联的异常，分析随机数据集的分解与欠采样特性。通过冗余图与迭代技术，证明强相异分解最小规模存在相变现象：异常数量低于阈值时由主数据决定，超过阈值后由异常主导。
arXiv cs.LG48 天前