★ 3
BRACE：异步强化学习中陈旧评论家的锚定贝尔曼残差校正
异步 RL 训练大模型时策略滞后会使评论家偏向陈旧行为策略。论文提出 BRACE，将校正视野限制在策略 token 前缀并锚定恒定权重蒙特卡洛尾部，分离策略校正与奖励传播。在 BrowseComp-Plus 上 mean@1 提升 2.4%，每步比同步训练快 2.46 倍，离策略 50 次更新仍稳…
arXiv cs.LG53 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
异步 RL 训练大模型时策略滞后会使评论家偏向陈旧行为策略。论文提出 BRACE，将校正视野限制在策略 token 前缀并锚定恒定权重蒙特卡洛尾部，分离策略校正与奖励传播。在 BrowseComp-Plus 上 mean@1 提升 2.4%，每步比同步训练快 2.46 倍，离策略 50 次更新仍稳…
论文提出贝尔曼一致的轨迹强化学习方法，通过轨迹贝尔曼残差最小化（TBRM）将稀疏终端奖励转化为密集的token级信号，并结合RLOO组策略降低梯度方差。在Countdown任务上，TBRM-RLOO将Pass@1提升至0.55-0.64，Pass@16达到76.0-84.0%的最优水平，优于SFT…