预注册研究：提示优化器会破坏未计分要求
原文标题：Do Prompt Optimizers Break Requirements They Are Not Scored On? A Preregistered Study
重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。
论文对 GEPA、MIPROv2、TextGrad 三个提示优化器在 HotpotQA、SQuAD 2.0、IFEval 上做预注册实验，发现优化后提示在提升目标指标的同时违反引用、格式等未计分要求。事后分析显示，在 200 token 输出上限下大量回答因先输出推理而截断，放宽上限后内容回归基本消失。
- 问题
- 提示优化器提升目标指标时，是否会破坏引用、格式等未计分要求。
- 方法
- 对 GEPA、MIPROv2、TextGrad 做预注册实验，用确定性检查逐条统计未计分要求的违规。
- 结果
- HotpotQA 上引用有效性净退化 10.7–41.6 点，同时 exact match 升 21–34 点；200 token 上限下 13.9%–47.0% 回答被截断，放宽到 1024 token 后内容回归低于 1 点。
- 影响
- 优化提示会悄悄破坏输出契约，评估指标必须覆盖格式与引用，否则线上解析会大面积失败。
深读 · 结论先行AI 生成展开看要点与影响 ↓
预注册实验：提示优化器提升目标指标，却破坏引用与格式等未计分要求
- •测试 GEPA、MIPROv2、TextGrad 三个优化器，覆盖 HotpotQA、SQuAD 2.0、IFEval
- •HotpotQA 上引用有效性净回归 10.7 至 41.6 点，而 exact match 上升 21 至 34 点
- •200 token 输出上限下，13.9% 至 47.0% 的回答在给出答案前就被截断
- •可解析输出中净回归在 3 点以内；放宽到 1024 token 后内容回归低于 1 点
- •两个简单门控未通过预注册标准
为什么重要：说明提示优化的副作用可能主要来自输出长度限制而非优化器本身，对用自动提示优化做生产的团队有直接纠偏价值。
以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。
AI 处理过程展开/收起
相关推荐
OpenAI 宣布数学、计算机科学、物理学三项新发现
AI 摘要OpenAI 宣布在调和分析、复杂性理论和量子场论三个方向取得新发现，并采用与学术界合作的新方法。公司邀请外部专家组织团队理解研究结果，参与者无需签署保密协议、可自由讨论并发表结论，且为自愿无报酬。OpenAI 表示不会为内部模型产生的发现寻求学术署名。
数学家称需数年消化 OpenAI 最新数学成果
AI 摘要OpenAI 本周突然发布近 400 项 AI 生成的数学成果，分布在 700 多份手稿中，覆盖组合数学、几何、数论等多个领域。多位数学家表示「震惊」「难以置信」，认为仅理解这些成果就需数年，且验证程度参差不齐。
OpenAI 公布数学难题突破成果
AI 摘要OpenAI 发布由未公开前沿模型生成的 722 篇数学手稿，覆盖 372 个成果族，声称解决了数百个长期未解问题，并公开 Lean 形式化证明与算力估算。此举延续了 AI 冲击数学界的势头，也引发研究伦理与学术规范的争议。独立顾问组织 AGMAI 呼吁实验室通过正规学术渠道发布成果，而非将其当作营销工具。
OpenAI 再抛数学突破成果引争议
AI 摘要OpenAI 公布 722 篇手稿，称未发布的前沿模型解决了数百个数学开放问题，平均每个结果消耗约三小时 ChatGPT Pro 级算力。成果虽令人震撼，但数学界对发布方式、研究伦理与学术规范提出质疑。AGMAI 建议实验室及时通过正规渠道披露模型、提示词与算力成本，避免把成果当作营销手段。