★ 3
arXiv 论文：多数投票奖励为何能逼近可验证 RL
一篇 arXiv 论文从批次级更新的角度解释了为何用模型自身样本的多数投票作为奖励，能复现可验证奖励训练的大部分收益。作者将多数投票更新分解为收缩与误导两部分，发现只要标签错误在各 prompt 间方向不一致，误导项会随批次增大而消失。在五个模型上测量逐响应梯度后，多数投票更新与金标准更新的一致性…
arXiv cs.LG17 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
一篇 arXiv 论文从批次级更新的角度解释了为何用模型自身样本的多数投票作为奖励，能复现可验证奖励训练的大部分收益。作者将多数投票更新分解为收缩与误导两部分，发现只要标签错误在各 prompt 间方向不一致，误导项会随批次增大而消失。在五个模型上测量逐响应梯度后，多数投票更新与金标准更新的一致性…
研究在五个基准、74944个样本上固定权重仅切换推理模式，发现推理会集中模型的错误：两个独立错误答案重合的概率在全部对比中上升。推理还大幅减少不同答案数量，但同时也缩小了答案多样性可起作用的题目集合。在280种方法-数据集-模型组合中，没有一种置信度加权方法在修正后能胜过简单多数投票。