arXiv NLPDropbox·17 天前★ 3

研究：以用户为中心审计基准评测资源

原文标题：Whose Data, Whose Benchmark? A User-Centric Framework for Auditing Evaluation Resources

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文提出以用户为中心的审计框架，区分贡献基准内容的用户与评测结果所代表的目标用户。对 16 个资源的审计发现，11 个文本基准中美国中心惯例占匹配信号的 62.4%-94.4%，图像文本资源的地理可见度与 GDP 份额强相关，且所有资源均未操作化目标用户语境。

论文速读 · 四段结构cs.CL去论文速读 →

问题: 基准评测分数掩盖了其背后的用户语境与惯例假设，无法判断分数代表谁。
方法: 提出以用户为中心的审计框架，区分贡献内容的用户与评测代表的目标用户，从内容、元数据、文档、评分四方面操作化七个维度。
结果: 16 个资源中 11 个文本基准的美国中心惯例占匹配信号 62.4%-94.4%；图像文本资源地理可见度与 GDP 份额强相关（Pearson r=0.780）；所有资源均未操作化目标用户语境；DROP 精确匹配从 100.0% 降至 33.3%。
影响: 提醒工程师别把基准分数当作普适能力证明，选型时需核查评测覆盖的用户语境。

深读 · 结论先行AI 生成展开看要点与影响 ↓

审计16个基准资源发现,11个文本基准中美国中心惯例占匹配信号62.4%-94.4%,且无一操作化目标用户语境。

为什么重要：基准分数常被当作能力证据,该审计指出分数背后隐含的是特定用户群体的惯例,对依赖基准做选型或政策判断的人有直接影响。

以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。

AI 处理过程展开/收起

原始标题：Whose Data, Whose Benchmark? A User-Centric Framework for Auditing Evaluation Resources

AI 中文标题：研究：以用户为中心审计基准评测资源

来源：arXiv NLP · 发布于 17 天前

分类：学术研究 · AI 重要度：★ 3（3）

标签：基准评测 / 数据审计 / 公平性 / 用户中心 / 评测偏差

关键词：基准评测审计 / 评测偏差 / 用户中心框架 / AI 公平性 / 基准数据

AI 处理：2026/10/15 12:51:12 · 模型 deepseek-chat · 规则版本 2026-10-10.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐