★ 3
预注册研究:提示优化器会破坏未计分要求
论文对 GEPA、MIPROv2、TextGrad 三个提示优化器在 HotpotQA、SQuAD 2.0、IFEval 上做预注册实验,发现优化后提示在提升目标指标的同时违反引用、格式等未计分要求。事后分析显示,在 200 token 输出上限下大量回答因先输出推理而截断,放宽上限后内容回归基本…
arXiv NLP21 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文对 GEPA、MIPROv2、TextGrad 三个提示优化器在 HotpotQA、SQuAD 2.0、IFEval 上做预注册实验,发现优化后提示在提升目标指标的同时违反引用、格式等未计分要求。事后分析显示,在 200 token 输出上限下大量回答因先输出推理而截断,放宽上限后内容回归基本…