★ 3
BRACE：异步强化学习中陈旧评论家的锚定贝尔曼残差校正
异步 RL 训练大模型时策略滞后会使评论家偏向陈旧行为策略。论文提出 BRACE，将校正视野限制在策略 token 前缀并锚定恒定权重蒙特卡洛尾部，分离策略校正与奖励传播。在 BrowseComp-Plus 上 mean@1 提升 2.4%，每步比同步训练快 2.46 倍，离策略 50 次更新仍稳…
arXiv cs.LG53 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
异步 RL 训练大模型时策略滞后会使评论家偏向陈旧行为策略。论文提出 BRACE，将校正视野限制在策略 token 前缀并锚定恒定权重蒙特卡洛尾部，分离策略校正与奖励传播。在 BrowseComp-Plus 上 mean@1 提升 2.4%，每步比同步训练快 2.46 倍，离策略 50 次更新仍稳…