★ 3
研究指出 SWE-bench Pro 等编码基准因泄露真值提示而过度指定任务
论文分析编码基准中任务欠指定与过度指定问题，指出 SWE-bench Pro、FEA-bench、Doc2Feat-bench 和 Multi-SWE-bench 通过引入真值提示解决欠指定，反而造成过度指定与剧透，使模型绕过基准本应考察的难点。作者实验不同指定程度并提出简约提示的构造方法，将公开…
arXiv cs.AI13 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文分析编码基准中任务欠指定与过度指定问题，指出 SWE-bench Pro、FEA-bench、Doc2Feat-bench 和 Multi-SWE-bench 通过引入真值提示解决欠指定，反而造成过度指定与剧透，使模型绕过基准本应考察的难点。作者实验不同指定程度并提出简约提示的构造方法，将公开…