★ 3
研究审计 51 个多语言基准：36% 语言仅出现在单一基准中
论文对 51 个近期多语言基准、242 个数据集、219 种语言进行数据驱动审计，从覆盖度、代表性、严谨性三方面评估。发现覆盖广而不深，36% 语言只出现在一个基准里，低资源语言仅覆盖 1-3 类任务，56% 数据语言实例由英语翻译而来，且存在基准污染与平行语料重叠问题。作者据此提出原生构建、文化…
arXiv NLP5 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文对 51 个近期多语言基准、242 个数据集、219 种语言进行数据驱动审计，从覆盖度、代表性、严谨性三方面评估。发现覆盖广而不深，36% 语言只出现在一个基准里，低资源语言仅覆盖 1-3 类任务，56% 数据语言实例由英语翻译而来，且存在基准污染与平行语料重叠问题。作者据此提出原生构建、文化…