★ 4
Anthropic 向投资者披露季度营收近 50% 增至 168 亿美元
Anthropic 在 IPO 前向投资者披露，第三季度营收达 168 亿美元，环比增长近 50%。公司还表示蒸馏占其收入 5% 至 7%，并已在第三季度大幅削减。
Simon Willison Blog17 天前
#知识蒸馏
共 101 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Artifact Distillation：免训练把前沿模型能力迁移到小模型
论文提出Artifact Distillation：教师模型把解题过程外化为可查询的「工件库」，学生模型推理时检索使用，无需梯度更新。用Claude Opus 4.5构建的工件库让Claude Haiku 4.5在空间推理上超过Sonnet 4.5且成本仅60%，同一工件库也把Qwen3.5-27…
arXiv NLP3 天前
★ 3
研究拆解顺序微调中回放与蒸馏对 LLM 安全性的作用
arXiv 论文在 Mistral-7B 与 Llama-3-8B 的顺序 LoRA 微调中，把监督式回放与 logit 蒸馏两种防安全退化策略拆开分析。监督回放使 HarmBench 攻击成功率平均降 51.1 分，但过度拒答上升 53.4 分；纯蒸馏仅降 5.4 分攻击成功率、过度拒答只升 5…
arXiv cs.LG3 天前
★ 3
研究用机制可解释性比较 GPT-2 与 DistilGPT-2 蒸馏后电路存留
论文用线性 CKA、logit lens、注意力模式分解、稀疏自编码器特征统计与激活修补，对比 GPT-2 与六层学生模型 DistilGPT-2 在 IOI 与 Greater-Than 两个电路上的差异。结果显示 IOI 电路完全机制崩塌（准确率 35.2% vs 94.8%），而 GT 电路…
arXiv NLP5 天前
★ 3
研究提出 CARD：将解题轨迹转为教学轨迹的推理蒸馏
论文指出直接用大推理模型的原始解题轨迹做蒸馏存在目标错配，提出基于强化学习的 CARD 框架，用分布对齐奖励与逻辑连贯奖励把解题轨迹改写成贴合学生模型认知的教学轨迹。在多个学生模型上，域内表现优于原始轨迹蒸馏，域外泛化提升明显。
arXiv cs.AI5 天前
★ 3
GIFT：用梯度信息过滤蒸馏信号增强推理强化学习
论文提出 GIFT 方法，通过 token 级几何分析将蒸馏梯度分解为与 RL 梯度平行（冲突）和正交（新指导）两部分，据此对教师模型的蒸馏更新排序筛选。配合渐进式覆盖退火调度，逐步从稠密蒸馏过渡到纯结果驱动目标。在数学与逻辑推理基准上相对提升最高 9.5%。
arXiv cs.LG10 天前
★ 3
研究：最小编辑在线蒸馏提升多模态推理感知能力
论文针对视觉语言模型误读图表导致推理失败的问题，提出最小编辑纠错在线蒸馏：以参考图描述和已验证解答作为训练信息，教师仅对错误轨迹中不被偏好的token给出纠错损失，正确轨迹用任务奖励强化学习。方法在测试时无需图描述，在多个模型规模上达到或超过推理时提供参考描述的基线。
arXiv cs.LG10 天前
★ 3
arXiv 论文提出 OnQ：量化模型推理能力恢复新方法
针对低比特量化大模型长程推理能力退化问题，论文指出固定响应监督存在轨迹偏移与分布错配两大挑战。作者提出 OnQ 流水线，结合同策略蒸馏与候选级 Dynamic KL。在 Qwen3-1.7B/4B/8B 的 2 比特与 3 比特设置下取得九项基准最高均分，2 比特时 Qwen3-8B 平均提升 1…
arXiv NLP11 天前
★ 3
D-Skill 提出自然语言技能蒸馏，小模型零权重更新追平教师 75%-95%
论文提出 D-Skill 框架，把前沿智能体教师视为黑盒，通过分析成对轨迹中的行为分歧与一致，将其行为优势蒸馏为可解释的自然语言技能文档，在推理时提供给小模型。该方法完全离线构建，无需标签、额外环境交互或权重更新。在 SpreadsheetBench-Verified、ALFWorld 与棋类谜题…
arXiv cs.AI11 天前
★ 3
误差截断事后蒸馏改进智能体强化学习
针对 GRPO 缺乏中间决策细粒度指导、事后技能蒸馏在错误动作后失配的问题，论文提出按轨迹结果与错误边界路由正负事后技能的方法：正技能强化成功路径与错误前决策，负技能针对关键错误，错误后缀仅由 GRPO 优化。实验显示任务表现具竞争力且信用分配更精细。
arXiv cs.AI13 天前
★ 3
RSHD：从失败尝试中恢复监督信号，改进 GRPO 训练
该论文提出 Replay-Selected Hindsight Distillation（RSHD），在 GRPO 训练中把失败尝试转化为额外的监督来源。策略模型在看不到参考答案的情况下为每次失败写纠正笔记，再用笔记重新解题；只有当重放成功率高于原始组且笔记未泄露答案时才被采纳，并蒸馏回普通提示策…
arXiv cs.AI17 天前
★ 3
DTDD：分歧触发的动态蒸馏实现可靠同策略监督
论文提出分歧触发动态蒸馏（DTDD），利用片段级学生-教师分歧在训练中触发教师接管，学生前缀继续接受标准 OPD 监督，教师生成恢复后缀供行为克隆学习。DTDD 将预热后峰值梯度范数降低 8.6 倍，在 ALFWorld 上分别提升 4.8 和 4.1 个百分点。
arXiv cs.LG18 天前
★ 3
扩散语言模型的结果路由蒸馏与强化学习
论文提出一种无似然流水线，结合结果路由蒸馏与强化学习训练专家混合扩散语言模型（dLLM）。通过验证器结果对 rollout 分组路由，混合组使用无比率 REINFORCE，全失败组使用 KL 监督。在工具调用任务上，蒸馏超过教师 6.77 个百分点，路由进一步提升 18.31 点。
arXiv cs.LG18 天前
★ 3
UltraBERT：突破 BERT 预训练极限的双向编码器
研究者提出 UltraBERT，通过为低和高掩码率分配独立 LM 头并限制蒸馏目标，首次在分类和检索任务上同时达到最优。GLUE 得分 91.0，BEIR 得分 47.7，并揭示编码器在数万亿 token 后饱和、低掩码率利于分类而高掩码率利于检索等发现。
arXiv NLP19 天前
★ 3
新方法：用大模型迭代、用小模型部署，蒸馏生产行为至 SLM
论文提出先在 GPT-5.4-nano 等前沿大模型上通过提示词开发行为并接受实时流量反馈，收敛后将真实生产行为蒸馏进小模型。以居家护理排班智能体为例，LoRA 微调的 Qwen3-8B 在 1.16 万条生产决策上达到 0.913 一致率，高于教师模型自洽的 72.7%，延迟降低约 2.5 倍且…
arXiv cs.AI19 天前
★ 3
HSAD 方法提出：8B 顾问模型蒸馏失败经验，金融智能体合格率升至56.6%
论文提出后见之明结构化建议蒸馏（HSAD），训练小型顾问模型读取输入并生成结构化建议，附加到冻结执行器提示中。在 FrontierFinance 基准上，8B 顾问将 Samaya 研究智能体合格率从52.9%提升至56.6%，成本降低37%，并在 WebShop、BIRD text-to-SQL…
arXiv cs.AI21 天前
★ 3
Residual Advantage：面向可验证奖励 RL 的学生相对教师引导方法
研究者提出 Residual Advantage（RA），将教师-学生概率残差作为有界单步奖励，减去学生策略下的状态值形成标准优势，并在响应内中心化后加入验证器优势。配合 Qwen3 系列学生与教师模型，RA 结合 GRPO 或 REINFORCE++ 在三个数学基准的 24 项对比中全部提升，P…
arXiv NLP24 天前
★ 3
SAIL：面向科学研究的智能体开源模型发布
研究者发布 SAIL，一个总参数 35B、激活参数 3B 的开源模型，面向文献研究、科学编程与多步科研工作流。SAIL 通过科学感知改进循环开发，由前沿模型智能体分析其任务失败并构建针对性训练任务。该模型在科研任务上以远少于主流开源权重模型的参数取得有竞争力的表现。
arXiv NLP24 天前
★ 3
arXiv 论文提出 Semi-OPD：离线学生轨迹蒸馏常优于在线策略蒸馏
一篇新 arXiv 论文质疑在线策略蒸馏（OPD）是否总优于其他方案，提出 Semi-OPD——用初始学生模型生成的离线轨迹进行蒸馏。在 17 组师生模型对（1.5B 至 235B 参数）中，Semi-OPD 在 14 组上优于 OPD，最高提升 13.6% 准确率并实现 11.4 倍训练加速。研…
arXiv NLP24 天前
★ 3
STI-OPD：多轮智能体在线策略蒸馏新框架
针对多轮智能体任务中在线策略蒸馏（OPD）因早期错误累积导致轨迹漂移的问题，论文提出 STI-OPD 随机教师干预框架。它用 KL 散度估计师生策略差异并映射为干预概率，自适应平衡教师控制与学生探索，并引入重要性加权反向 KL 目标，在工具集成推理与长程交互基准上超越此前最强 OPD 基线。
arXiv NLP24 天前
★ 3
多带宽分布匹配蒸馏：DMD 与漂移模型等价性证明
论文证明将预训练扩散/流式生成模型的速度场/噪声场转换为漂移模型中的吸引力场，并从生成分布估计排斥力场后，训练漂移模型自然等价于分布匹配蒸馏（DMD/DMD2）。基于该等价视角提出改进方法多带宽分布匹配蒸馏（MBDMD），用于一步生成模型。
arXiv cs.LG24 天前
★ 3
KDFP：大模型通用知识蒸馏新方法
论文提出 KDFP，一种面向大语言模型的白盒通用知识蒸馏方法，弥补以往只蒸馏指令跟随、思维链等后训练能力的空白。在 9 个基准上比现有方法提升 1.6%–4.9%，并通过临时参数削减将训练效率最高提升 99.1%，有助于边缘设备上的高效私有部署。
arXiv cs.LG24 天前
★ 3
SAPD 免 rollout 自蒸馏提升数学推理
研究提出步对齐特权蒸馏 SAPD，一种无需 rollout 的自蒸馏方法，把固定示范转化为步对齐的分布监督，用参考解的已知推进过程为每个推理步骤提供针对性特权指导。在数学推理基准上平均优于监督微调与标签平滑，与在线策略强化学习和自蒸馏相当，训练循环提速约 2 倍，并基本保持域外代码能力。
arXiv NLP25 天前
★ 3
研究：在线策略蒸馏传技能不传知识
研究用可控合成框架分离事实知识与组合技能，测试三个家族四个模型，发现在线策略蒸馏（OPD）能稳定迁移多步推理的组合技能，但几乎不迁移事实知识。将 reverse-KL 换成 forward-KL 可恢复事实迁移，学生 rollout 则主要提升多步推理执行。结论是 OPD 不扩展模型参数化知识，只…
arXiv NLP25 天前
★ 3
OnlineQAT：超低位宽 LLM 的在线策略蒸馏
研究者提出 OnlineQAT，一个两阶段框架，先通过分块 QAT 获得可用的低位初始化，再在学生生成的响应上进行在线策略蒸馏。在 Qwen3-1.7B 上，OnlineQAT 在 W3A16 与 W2A16 下取得对比方法中最佳平均分，分别比 ReasoningQAT 提升 2.90 和 0.4…
arXiv NLP25 天前
★ 3
GraphOPD：图增强在线策略蒸馏 LLM 智能体
论文提出 GraphOPD，首个将图结构增强引入在线策略蒸馏的方法，用于提升 LLM 智能体能力。它从环境状态变化记录中构建步骤依赖图，用随机游走平稳分布评分并与散度信号融合，在 ALFWorld、WebShop、SearchQA 上比最强基线最高提升 5.8 个百分点。
arXiv cs.LG25 天前
★ 3
Socio-Foundation：个体行为模拟的分层能力蒸馏模型
论文提出 Socio-Foundation，用于通用化个体行为模拟，基于 FONTS 分类法（人格保真、结果实现、行为自然度、轨迹连贯、社会接地）构建约 1000 万实例的训练语料库。模型通过三阶段流水线解耦专业化与整合：DAPO 学习任务专家、离策略蒸馏整合为能力专家、多教师在线策略蒸馏（MOP…
arXiv cs.AI25 天前
★ 3
LLM 压缩的能力缩放下降定律
论文系统研究剪枝、量化与蒸馏三类 LLM 压缩方法的能力缩放下降规律，在数学、代码生成与问答任务上测量能力损失，并关联模型规模、训练阶段、压缩配置与数据可用性。作者提出简洁预测关系，可将剪枝预测器拟合所需配置测量量减半，并在新模型状态上保持精度。研究还评估了这些预测在压缩方法选择中的决策价值。
arXiv cs.LG28 天前
★ 3
Latent-MOPD：表示级多教师在线策略蒸馏
论文提出Latent-MOPD，据称是首个面向LLM的表示级多教师在线策略蒸馏方法，同时利用专家的预测分布与计算这些预测所用的隐藏状态，无需额外教师训练。方法按师生关系选择后层目标、用共享投影桥接不同隐藏宽度、按领域分组更新，并让监督从隐藏状态逐步过渡到token预测。在同族与跨族教师设置下，该方…
arXiv cs.LG28 天前
★ 3
慢快多教师在线蒸馏法缓解多模态模型能力退化
针对多教师在线策略蒸馏（MOPD）导致学生模型通用能力下降的问题，作者提出 SF-MOPD：用快速模型（直接更新）与慢速模型（学生权重的指数滑动平均）配对，在 log 概率空间剔除使快模型偏离慢模型的分量。实验表明该方法缓解能力干扰，提升多模态专长并减少通用基准退化。
arXiv cs.LG28 天前