★ 3
研究审计 51 个多语言基准：36% 语言仅出现在单一基准中
论文对 51 个近期多语言基准、242 个数据集、219 种语言进行数据驱动审计，从覆盖度、代表性、严谨性三方面评估。发现覆盖广而不深，36% 语言只出现在一个基准里，低资源语言仅覆盖 1-3 类任务，56% 数据语言实例由英语翻译而来，且存在基准污染与平行语料重叠问题。作者据此提出原生构建、文化…
arXiv NLP5 天前
#基准审计
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
AppWorld 与 WorkArena 任务验证器盲点审计
论文用基于源码的变异测试审计 AppWorld 与 WorkArena 已发布的任务验证器。在 AppWorld 中，重复非幂等写入可产生额外记录却仍被接受（6/15 构造效果）；在 WorkArena 中，23 个额外字段候选全部通过验证，其中 21 个经独立读回确认为错误效果。研究还报告了零通…
arXiv cs.AI25 天前
★ 2
电信客户流失基准的99%准确率隐忧
一篇 arXiv 论文对 IBM 电信客户流失基准（n=7043）进行可信度审计，指出文献中普遍报告的 95% 以上准确率存在四类问题。其中预划分 SMOTE 使流失类 F1 虚高 13.1 个百分点，成本最优阈值比 F1 最优阈值低 5-10 倍，每千名客户可省约 7.7 万美元。作者提出包含流…
arXiv cs.LG31 天前