★ 3
ORL：扩散语言模型的在线策略残差学习框架
论文提出 ORL 框架，指出残差学习本质是在线策略的，通过模型自生成残差轨迹与熵收缩目标提升预测锐度，并协同设计异步残差捕获、块扩散注意力与计算均衡训练。在由 Qwen3-4B 转换的 4B 扩散语言模型上，每前向 token 数最高提升 6.2 倍，端到端吞吐提升约 6.9 倍。在 LLaDA-…
arXiv cs.LG17 天前
#在线策略
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
SR-OPD：成功参照的在线策略蒸馏
针对在线策略蒸馏（OPD）需为每条rollout提供教师监督、计算开销大的问题，提出SR-OPD：当同一提示下学生既有成功又有失败rollout时，以成功rollout为参照优先选择隐状态轨迹持续偏离的失败样本进行监督。在六个数学推理基准上仅用原方法3.46-5.02%的教师输入token即保持相…
arXiv cs.AI28 天前
★ 3
论文校准师生差异改进在线策略蒸馏
论文指出在线策略蒸馏（OPD）中学到的师生差异混杂了教师自身的偏差，特权信息会放大该问题。作者提出 Cal-OPD，通过正负特权干预估计教师自偏差区域，仅保留超出该区域的差异作为优化信号。在数学推理基准上，仅保留约 52-65% 的原始差异即持续优于标准 OPD。
arXiv cs.AI42 天前
★ 3
OPD-Aha：多模态在线策略蒸馏从语言动量到视觉反思
论文指出特权在线策略蒸馏中，学生早期误读图像会累积错误推理并拖偏教师，导致师生共同陷入幻觉。作者发现教师对真实图像与视觉空值的预测差异中仍保留视觉纠正偏好，据此提出 OPD-Aha，直接从该孤立视觉偏好重建蒸馏目标，抑制与图像矛盾的续写。训练后学生学会用 wait、actually 等反思词中断错…
arXiv cs.LG47 天前
★ 3
MInTRL：离策略干预增强在线强化学习
论文提出最小干预强化学习 MInTRL，在在线策略 rollout 中通过稀疏局部干预扩展探索前沿，并用序列级优势回归目标避免重要性采样。在数学与代码基准上持续优于在线与离策略基线，性能在中等干预强度时达到峰值。
arXiv cs.LG49 天前
★ 3
SpikeOPD：脉冲语言模型稳定同策略蒸馏
提出SpikeOPD，一种用于自回归尖峰语言模型的稳定在线策略蒸馏框架，解决前缀源不匹配问题。在多个模型规模上提升准确率，同时保持稀疏计算特性。
arXiv cs.AI63 天前
这个主题的相关资产
相关术语在线策略蒸馏