★ 3LastOPD：解决潜在在线策略蒸馏的崩溃问题论文发现在将 Qwen3-4B/8B 蒸馏到 Qwen3-1.7B-Base 时，潜在监督会出现「早期增益、后期崩溃」现象，且对齐指标越好性能反而越差。作者提出 LastOPD，仅在最后一层状态施加潜在信号，并在 10 步内过渡到 token 级在线策略蒸馏。实验显示 MATH-500 分别提升 …arXiv cs.LG38 天前