★ 2
arXiv 论文：连续流语言模型的反向传播验证器奖励
该论文提出一种针对连续流语言模型的强化学习后训练框架，通过引入 critic 估计中间 token 嵌入的价值，绕过不可微的解码步骤，从而获得方差远低于 REINFORCE 的路径梯度。在四个推理任务上，该方法稳定提升连续流语言模型性能并优于同类基线。
arXiv cs.LG18 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该论文提出一种针对连续流语言模型的强化学习后训练框架，通过引入 critic 估计中间 token 嵌入的价值，绕过不可微的解码步骤，从而获得方差远低于 REINFORCE 的路径梯度。在四个推理任务上，该方法稳定提升连续流语言模型性能并优于同类基线。
论文针对皮尔逊相关系数（PCC）、一致性相关系数（CCC）等不可分解指标在小批量训练中梯度有偏、高方差的问题，提出 B2P-Corr 框架，用轻量全局矩草图把相关目标转化为可分解伪损失。给出 B2P-EMA 与 B2P-U 两个 O(B) 复杂度变体，理论上量化了朴素小批量的 O(B⁻¹) 偏差，…