#策略滞后

arXiv 论文解析大模型强化学习中训练-推理失配的成因与修正

论文指出大模型在线强化学习中，推理引擎采样与训练器计算梯度之间存在训练-推理失配，来源分为引擎数值误差与异步采样的策略滞后。作者将误差精确拆分为数值偏差与策略滞后，并提出 discrepancy-lag correction（DLC）方法。在 Qwen3-0.6B 与 Qwen3-1.7B 上，D…