★ 3
Seq@K：评估模型在序列反馈下的迭代改进能力
论文提出 Seq@K 评测协议，衡量模型在 K 次顺序尝试中、每次失败后获得反馈能否解决问题，弥补 Pass@1/Pass@K 无法反映反馈利用的缺陷。在 7 个基准与 16 个前沿模型上评测发现，Seq@K 下的模型排名常与 Pass@K 不同，帕累托前沿出现更高效配置，反馈设计对迭代改进影响显…
arXiv cs.AI3 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Seq@K 评测协议，衡量模型在 K 次顺序尝试中、每次失败后获得反馈能否解决问题，弥补 Pass@1/Pass@K 无法反映反馈利用的缺陷。在 7 个基准与 16 个前沿模型上评测发现，Seq@K 下的模型排名常与 Pass@K 不同，帕累托前沿出现更高效配置，反馈设计对迭代改进影响显…