★ 3OPAL：在线策略注意力线性化蒸馏论文提出 On-Policy Attention Linearization（OPAL），让混合注意力学生模型自行采样长上下文轨迹，并由冻结的全注意力教师提供密集监督，解决离线蒸馏在长序列上误差累积的问题。在 Qwen3-4B 与 MiMo-7B-RL-0530 上，仅用 3B 训练 token …arXiv cs.LG34 天前