★ 3
STI-OPD：多轮智能体在线策略蒸馏新框架
针对多轮智能体任务中在线策略蒸馏（OPD）因早期错误累积导致轨迹漂移的问题，论文提出 STI-OPD 随机教师干预框架。它用 KL 散度估计师生策略差异并映射为干预概率，自适应平衡教师控制与学生探索，并引入重要性加权反向 KL 目标，在工具集成推理与长程交互基准上超越此前最强 OPD 基线。
arXiv NLP24 天前
#在线策略蒸馏
共 14 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
LoopOPD：循环语言模型跨循环在线策略蒸馏
论文提出LoopOPD框架，利用循环语言模型内部额外的循环计算作为自身监督来源，以冻结的终端循环策略作为计算特权教师指导中间循环学生，无需外部教师或特权信息。进一步提出动态LoopOPD持续刷新教师实现循环自改进。在Ouro-Thinking模型上实验显示数学推理提升，并泛化到通用推理与代码生成。
arXiv cs.LG24 天前
★ 3
TAP：轨迹锚定恢复的长程智能体剪枝
论文提出 TAP，首个面向强化学习训练智能体的结构化剪枝框架，结合结构剪枝与高效在线策略恢复。它用冻结稠密教师监督学生响应前缀，并迭代重评通道，在移除 60% FFN 通道后仍保留 ALFWorld 99.2%、WebShop 88.0% 的任务成功率。
arXiv cs.LG25 天前
★ 3
GraphOPD：图增强在线策略蒸馏 LLM 智能体
论文提出 GraphOPD，首个将图结构增强引入在线策略蒸馏的方法，用于提升 LLM 智能体能力。它从环境状态变化记录中构建步骤依赖图，用随机游走平稳分布评分并与散度信号融合，在 ALFWorld、WebShop、SearchQA 上比最强基线最高提升 5.8 个百分点。
arXiv cs.LG25 天前
★ 3
新方法LMOPD：词典序多目标在线策略蒸馏
针对RLVR后训练中正确性、推理质量与简洁性难以兼顾的问题，论文提出LMOPD方法，按显式优先级整合多个奖励专家策略。该方法为每次学生采样选择首个存在缺陷目标的专家，并投影其对数策略修正以消除与高优先级专家冲突的成分。在30B-A3B MoE模型上，四专家设置下保留约90%的准确率与推理增益，显著…
arXiv cs.LG28 天前
★ 3
慢快多教师在线蒸馏法缓解多模态模型能力退化
针对多教师在线策略蒸馏（MOPD）导致学生模型通用能力下降的问题，作者提出 SF-MOPD：用快速模型（直接更新）与慢速模型（学生权重的指数滑动平均）配对，在 log 概率空间剔除使快模型偏离慢模型的分量。实验表明该方法缓解能力干扰，提升多模态专长并减少通用基准退化。
arXiv cs.LG28 天前
★ 3
研究揭示在线策略蒸馏中教师模型存在离策略不对称
论文指出在线策略蒸馏存在根本性不对称：学生轨迹对教师而言是离线策略的，教师续写性能随学生前缀变长而下降。提出SCOUT协同训练框架，用可验证奖励的强化学习周期性优化教师对学生前缀的条件能力，在多种师生配置与推理领域持续提升蒸馏效果。
arXiv cs.LG32 天前
★ 3
LastOPD：解决潜在在线策略蒸馏的崩溃问题
论文发现在将 Qwen3-4B/8B 蒸馏到 Qwen3-1.7B-Base 时，潜在监督会出现「早期增益、后期崩溃」现象，且对齐指标越好性能反而越差。作者提出 LastOPD，仅在最后一层状态施加潜在信号，并在 10 步内过渡到 token 级在线策略蒸馏。实验显示 MATH-500 分别提升 …
arXiv cs.LG38 天前
★ 2
ATI-OPD：自适应教师干预稳定长序列在线策略蒸馏
针对在线策略蒸馏中学生长回答前缀偏离教师推理、导致训练不稳的问题，论文提出ATI-OPD：用教师短片段替换最早的高分歧片段，让学生从修正文本继续推理，并剔除持续分歧的尾部。在五个数学推理基准与两组师生模型对上，平均准确率优于标准OPD。
arXiv NLP3 天前
★ 2
Ask-to-Distill 提出合成问题优化在线策略蒸馏
论文提出 Ask-to-Distill 框架，将合成问题视为分布诱导器，用冻结师生对计算分布替代信号来评估问题价值，无需参考答案或正确性奖励。生成的题目经筛选去重后构成提示库用于标准在线策略蒸馏。在数学推理、代码生成和智能体任务上平均表现优于未优化提示与 KL 过滤真实问题。
arXiv cs.AI12 天前
★ 2
ECHOES 用特权在线策略蒸馏压缩 GUI 智能体历史，免存截图
论文提出 ECHOES，采用「压缩—思考—行动」格式递归更新文本历史状态，并以具备多图特权输入的同模型作为教师，对学生轨迹做 token 级在线策略蒸馏。配套 PMF Gap 引导的 OPD-RL 框架动态平衡蒸馏与任务奖励。部署时不保留历史截图，在四个 GUI 基准与自建 ECHOESBMK 上…
arXiv cs.AI13 天前
★ 2
研究揭示在线策略蒸馏中教师优势来源
arXiv 论文从知识蒸馏视角重新审视在线策略蒸馏（OPD），通过在师生分歧处进行受控 token 翻转，量化教师纠正带来的准确率增益。单 token 翻转增益有限，而重复翻转可将准确率从 28.4% 提升至 74.5%，接近教师水平 76.9%。研究建议采用能学习更有价值教师纠正、同时保持分布稳…
arXiv cs.LG18 天前
★ 2
arXiv 论文提出 FUW：基于 Fisher 效用加权的在线蒸馏令牌选择方法
该论文针对在线策略蒸馏（OPD）中的令牌选择问题，提出从蒸馏目标本身推导令牌重要性，得到效用函数 s_t = g_t^T F_t^† g_t，其中 g_t 为 logit 梯度、F_t 为类别 Fisher 矩阵。作者将其实例化为 Fisher Utility Weighting（FUW），一种连…
arXiv cs.LG18 天前
★ 2
OPMD：超越输出监督的在线策略机制蒸馏
论文提出 On-Policy Mechanism Distillation（OPMD），在在线策略蒸馏中不仅监督学生模型的输出，还迁移教师模型的中间计算过程，并显式考虑其与学生下游计算的兼容性。在三种教师-学生设定下，OPMD 平均准确率均超过现有蒸馏基线，并可推广到多教师蒸馏与跨家族监督微调。分…
arXiv cs.LG19 天前