★ 3
RLVR 优化景观可为良性：来自自旋玻璃理论的洞见
论文研究可验证奖励强化学习（RLVR）在迭代群乘法等算法任务上的优化景观，将熵正则化 RLVR 映射为确定性策略上的自旋玻璃能量模型。理论与实验表明，对输入不相关的一类任务，该景观是良性的，不存在会困住训练的局部极小值。实际困难更多来自扩散势垒与梯度估计误差，可通过选择熵调节器缓解。
arXiv cs.LG38 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究可验证奖励强化学习（RLVR）在迭代群乘法等算法任务上的优化景观，将熵正则化 RLVR 映射为确定性策略上的自旋玻璃能量模型。理论与实验表明，对输入不相关的一类任务，该景观是良性的，不存在会困住训练的局部极小值。实际困难更多来自扩散势垒与梯度估计误差，可通过选择熵调节器缓解。