★ 3
arXiv 论文：多数投票奖励为何能逼近可验证 RL
一篇 arXiv 论文从批次级更新的角度解释了为何用模型自身样本的多数投票作为奖励，能复现可验证奖励训练的大部分收益。作者将多数投票更新分解为收缩与误导两部分，发现只要标签错误在各 prompt 间方向不一致，误导项会随批次增大而消失。在五个模型上测量逐响应梯度后，多数投票更新与金标准更新的一致性…
arXiv cs.LG17 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
一篇 arXiv 论文从批次级更新的角度解释了为何用模型自身样本的多数投票作为奖励，能复现可验证奖励训练的大部分收益。作者将多数投票更新分解为收缩与误导两部分，发现只要标签错误在各 prompt 间方向不一致，误导项会随批次增大而消失。在五个模型上测量逐响应梯度后，多数投票更新与金标准更新的一致性…