★ 3
SCOPE：面向智能体强化学习的选择性关键步自蒸馏
论文提出 SCOPE 框架，让策略分析自身轨迹、生成步骤级事后技能，仅在选定的错误步骤上蒸馏指导，并用有界带符号师生系数稳定更新。在 ALFWorld 与 WebShop 上，Qwen2.5-3B 分别达到 97.7% 与 85.2% 成功率，扩展至 Qwen3-32B 后未见任务成功率达 94.…
arXiv cs.AI2 天前
#自蒸馏
共 25 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
论文提出思维链可监控性的因果边界与训练方法
研究指出常用思维链监控评估指标 TPR_mc 只是因果检测率的上界，并推导出下界以构建更严谨的评估框架。作者构建控制-干预配对数据集，用自蒸馏与强化学习三类方法训练模型，普遍提升了思维链可监控性。
arXiv cs.LG6 天前
★ 3
SPLICE：一致性正则化实现智能体知识与模型协同进化
论文提出 SPLICE 框架，通过扰动同一经验的分析方式构造多个进化视图，以跨视图一致效用增益指导知识更新，并用自蒸馏结合强化学习将知识内化到模型。实验显示其在多领域平均准确率上分别超过知识进化与模型训练基线 7.1 与 4.6 个百分点，每个正确解的输出 token 最多减少 44%。
arXiv cs.AI9 天前
★ 3
arXiv 论文：递归自蒸馏致 Qwen3 与 Phi-4 渐进失准
一篇 arXiv 论文发现递归自蒸馏存在安全隐患：安全模型在自身安全输出上反复自蒸馏，即使只附加无害提示，也会在有害查询上逐渐失准，作者称之为「渐进失准」。该现象在 Qwen3 与 Phi-4 两个模型家族、SORRY-Bench 与 StrongREJECT 基准上均复现，模拟用户反馈场景同样出…
arXiv cs.LG13 天前
★ 3
逆推理模型：仅用答案数据高效后训练与验证
该 arXiv 论文提出一种自蒸馏技术，训练一个「逆推理 LLM」，在给定答案的条件下生成原模型的推理链，从而仅用 prompt-answer 数据即可完成后训练，无需标注 CoT。在 Qwen3-0.6B 的 Countdown 与 GSM8K 任务上，GRPO 训练饱和后单轮离线蒸馏可使困难提…
arXiv cs.LG17 天前
★ 3
PreSO 提出特权表示隔离的在线自蒸馏方法
论文提出 PreSO（Privileged Representation Isolation for On-Policy Self-Distillation），用于将 RLVR 的稀疏结果信号转化为密集的 token 级监督。方法在源头用紧凑提示限制解特定细节，在目标端从跨问题共享的低秩子空间投影…
arXiv cs.LG18 天前
★ 3
SAPD 免 rollout 自蒸馏提升数学推理
研究提出步对齐特权蒸馏 SAPD，一种无需 rollout 的自蒸馏方法，把固定示范转化为步对齐的分布监督，用参考解的已知推进过程为每个推理步骤提供针对性特权指导。在数学推理基准上平均优于监督微调与标签平滑，与在线策略强化学习和自蒸馏相当，训练循环提速约 2 倍，并基本保持域外代码能力。
arXiv NLP24 天前
★ 3
激活条件自蒸馏方法 ACSD
论文提出激活条件自蒸馏（ACSD），通过对比在生成预算内到达正确答案的自生成轨迹与其余轨迹的激活，提取引导向量。冻结的基座模型在每个预测位置施加该向量，学生从自身前缀的下一 token 分布中学习，无需参考文本或教师参数更新。在五个模型上，ACSD 在四个数学基准上取得最高平均准确率，DeepSe…
arXiv cs.LG31 天前
★ 3
UniEvo-VL：多模态模型自蒸馏自进化训练法
论文提出 UniEvo-VL，让单一多模态模型同时充当教师与学生，利用自批评作为特权信息，在测试时计算中自我改进。基于开源 Qwen-image-2512，GenEval 从 0.747 提升至 0.808，GenEval2 Soft-TIFA 从 32.97 升至 35.53。研究显示更强的外部…
arXiv cs.AI31 天前
★ 3
论文：多轮智能体自蒸馏不如纯强化学习
论文指出同策略自蒸馏（OPSD）在多轮智能体中会让模型表现得像拥有从未观察到的特权信息，性能甚至可能低于未训练基座。作者提出Privileged Self-Practice（PSP），把特权信息从损失函数移到采样器：当任务rollout大多失败时，注入分析模型撰写的任务指令重新采样，再用原GRPO…
arXiv cs.AI37 天前
★ 3
论文提出自蒸馏中区分正确性与行为的方法
研究发现在线自蒸馏中特权信息不仅改变教师模型的知识，也改变其行为，导致正确性信号与行为偏移纠缠。作者对比吸引式与排斥式自蒸馏，发现两者引发相反的行为变化，而将正确解教师与错误解教师结合的对比式自蒸馏可让行为偏移相互抵消。该目标在多种模型上提升推理性能并保持稳定的回答长度。
arXiv cs.LG41 天前
★ 3
研究提出HypReflect假设引导自蒸馏，实现持续个性化
该研究提出HypReflect框架，用于持续个性化，通过推断显式且不确定性感知的用户偏好假设，并随着新证据积累进行反思性修正。实验表明，HypReflect在在线个性化、多会话交互和隐式行为信号等场景中优于基线方法，并展现出对未见用户和跨领域设置的强泛化能力。
arXiv cs.AI60 天前
★ 2
MASS：多掩码选择性自蒸馏提升推理抗泄漏能力
论文针对在线自蒸馏中教师仅以单一参考为条件导致推理轨迹集中的问题，提出多掩码选择性自蒸馏（MASS）。方法用同一已验证解答的多个独立掩码视图近似参考边际分布，聚合互补的教师预测并选择性迁移可靠的 token 级修正。在多个数学推理基准与模型族上稳定优于强自蒸馏基线。
arXiv cs.LG2 天前
★ 2
Fin-SD：面向金融推理的后见自蒸馏方法研究
论文提出 Fin-SD，一种面向多步推理的局部后见自蒸馏方法：学生模型自行定位首个错误步骤并写简短批评，截断轨迹后以提示条件化冻结副本作为教师，用反向 KL 蒸馏，无需外部模型提供梯度。在 GPT-OSS-20B 上应用后发现，将批评替换为通用反馈仍能复现全部 3.03 个百分点增益，说明收益来自…
arXiv cs.LG4 天前
★ 2
DIAL-S2ST：同传语音翻译推理时延迟控制新方法
论文提出 DIAL-S2ST，一种针对同声传译语音到语音翻译模型的训练后方法，通过前瞻预测自蒸馏学习推理时延迟控制，无需配对目标数据或奖励计算。研究在 Hibiki 的法英翻译任务上仅用 10 小时源语音即完成适配，实现质量与延迟的良好权衡。
arXiv NLP6 天前
★ 2
ReMedI：推理时精炼与自蒸馏实现可控分子优化
论文提出 ReMedI 框架，将分子语言模型作为基础提议器，在推理阶段用 Metropolis-Hastings 搜索引导多目标分子编辑。搜索轨迹再蒸馏回基座模型，仅需 C-MORAL 约 1/7.8 的训练数据，严格成功率覆盖达其 2.8 倍。
arXiv cs.LG6 天前
★ 2
TeachBack：双向偏好优化改进在线自蒸馏
论文提出 TeachBack 框架，用于在线策略自蒸馏（OPSD）：教师模型由同一模型加特权信息（如参考答案）构成。研究发现教师轨迹虽准确，却可能省略探索与自我纠错，不利于学生学习。TeachBack 通过控制注入提示的参考推理后缀长度与提示风格，并用双向成对偏好目标同时优化学生轨迹与教师监督方式…
arXiv cs.AI10 天前
★ 2
研究：预测特权信息有效性以改进在线自蒸馏
论文系统评估在线自蒸馏（OPSD）中特权信息（PI）的内容与构造方式，覆盖 16 种 PI 配置、三个多轮智能体基准与三个不同规模学生模型。发现信息密集轨迹与更强生成器产出的 PI 收益更大，思考型模型收益不稳定；并提出基于 KL 的指标在训练前预测 PI 效果，与 GRPO 结合可超越强基线。
arXiv cs.LG13 天前
★ 2
arXiv 论文提出图像自蒸馏数据密度缩放律
一篇 arXiv 论文研究图像自蒸馏模型中的数据重复训练效应，发现重复使用同一批样本对下游性能的影响因数据集而异，某些情况下在较小随机子集上反复训练反而优于使用更多唯一样本。作者提出一种改进的 Chinchilla 式缩放律，同时考虑唯一样本数与每样本重复次数，为数据-算力权衡提供新框架。
arXiv cs.LG17 天前
★ 2
FASD：解耦多模态大模型遗忘中的知识遗忘与拒答学习
论文指出当前多模态遗忘评估只关注模型是否停止输出目标信息，掩盖了知识抑制引发虚构、拒答训练未真正抹除知识两大失效模式。作者提出遗忘感知自蒸馏（FASD），将行为通道与知识通道分离，实现「诚实的无知」，在遗忘目标知识的同时防止开放任务信息泄露并保持保留数据性能。
arXiv cs.AI18 天前
★ 2
SELF：智能体后见自蒸馏的环境反馈建模
论文提出 SELF 框架，联合优化环境反馈建模与后见自蒸馏，让智能体在预测环境响应的同时从反馈条件自教师中蒸馏策略。分析显示二者相互增强。基于 Qwen3-8B，SELF 在 τ-bench 成功率上较 SDPO 与 GRPO 分别提升 6.4 与 4.1 个百分点，在 AppWorld 任务目标…
arXiv cs.AI23 天前
★ 2
MIRROR 自蒸馏框架：让 LLM 个性化从模仿走向偏好内化
arXiv 论文提出 MIRROR 自蒸馏框架，将 LLM 个性化从参考文本模仿转向用户偏好内化：用参考条件自蒸馏对齐模型自身生成轨迹的下一 token 分布，并引入 MIRROR-F 插件对信息量高的参考 token 做选择性监督。在三个个性化生成基准、两种模型规模上取得领先的个性化与文本质量表…
arXiv NLP24 天前
★ 2
RISED：智能体多环境选择与自蒸馏
论文关注在多种交互环境中联合训练单一 LLM 智能体以通向通用智能体。现有课程与数据选择策略多在环境层面分配训练，或依赖局部奖励信号，未显式考虑跨环境 rollout 之间的关系。作者提出 RISED，利用评分标准进行提示组选择与自蒸馏，以应对不同环境学习速率不一致导致的全失败/全成功组问题。
Apple Machine Learning Research27 天前
★ 2
TISD：轨迹干预的在线策略自蒸馏方法
针对在线策略自蒸馏（OPSD）只能沿学生采样轨迹评估教师目标、无法监督教师偏好分支后继上下文的问题，论文提出轨迹干预自蒸馏（TISD）。TISD 强制采用教师选择的分支动作，将后缀生成交还学生，并在特权上下文条件下蒸馏完整轨迹。在代码模型上平均 Avg@4 较 SDPO 提升 1.2 个百分点，科…
arXiv cs.AI34 天前
★ 2
自蒸馏中特权上下文该如何设计
研究探讨在线策略自蒸馏（OPSD）中教师模型应看到何种特权信息，对比完整参考解、命名策略、方法无关框架、问题类别及仅答案五种上下文。在竞赛数学任务上，最佳中间抽象上下文比完整解在 4B 和 8B 模型上分别提升 1.4 和 1.6 分，且提示词 token 少一个数量级。结论是自教师应提供学生仍能…
arXiv cs.LG39 天前