研究:Arena 式模型排行榜可被操纵,最高可提升 45 名
原文标题:Leaderboard Hacking: Preference-Based Model Evaluations are Vulnerable to Manipulation
重要度 4/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。
论文发现基于 Bradley-Terry 模型的 Arena 式偏好排行榜存在多种操纵手段:策略性投票、策略性提示词选择与策略性提名。在公开排行榜数据上验证,每种攻击可将模型排名提升 15-20 位,组合使用最多可提升 45 位,且该问题适用于任何允许开放提示、投票或模型提交的偏好评测。
AI 处理过程展开/收起
相关推荐
英伟达黄仁勋辞任CEO,CFO Kress任临时CEO
AI 摘要英伟达宣布联合创始人黄仁勋辞去总裁、CEO及董事职务,即刻生效,此前董事会已就其私人关系启动独立调查。CFO Colette Kress出任临时CEO并继续兼任CFO,董事会启动新任CEO遴选,并首次设立董事会主席一职由Harvey C. Jones担任。消息公布后英伟达股价单日跌约13%,较10月高点累计下跌近40%。
8点1氪丨英伟达宣布CEO黄仁勋辞职,特朗普:建议库克接任;腾讯“裁员50%”?知情人士回应;宣扬错误婚恋观,德芙代运营方被罚80万
AI 摘要聚合早报称英伟达宣布黄仁勋辞去 CEO 职务、CFO 克雷斯出任临时 CEO,特朗普建议库克接任;腾讯知情人士否认「裁员 50%」说法,称是面向 AI 时代的组织调整;张一鸣称字节追平 OpenAI 与 Anthropic 最早要到 2029 至 2030 年;百度推出大模型交易平台词元所。
英伟达 CEO 黄仁勋因婚外情丑闻辞职
AI 摘要英伟达联合创始人兼 CEO 黄仁勋在承认与据称是中国间谍的女性有婚外情后辞职,随后又曝出至少两起与公司高管的婚外情。公司股价连续大跌,市值从约 5 万亿美元跌至 4 万亿美元。事件引发美国国家安全担忧,并可能波及整个 AI 芯片供应链。
黄仁勋辞任英伟达CEO,涉中国间谍传闻
AI 摘要英伟达CEO黄仁勋因与一名疑似中国间谍的绯闻辞职,事件迅速发酵。播客访谈布鲁金斯学会学者Kyle Chan,讨论中国通过接近黄仁勋可能获得什么,以及美中AI芯片竞争与出口管制的真实态势。