技术
Self-distillation（自蒸馏）
自蒸馏是模型通过自身生成的软标签或中间表示来训练自己，解决标注数据不足和模型压缩问题，典型应用包括知识蒸馏、半监督学习和模型轻量化。
详细解释
自蒸馏中，教师和学生为同一模型的不同部分或不同训练阶段。常见形式有：用模型早期epoch的预测作为软标签训练后期；用深层网络指导浅层；或利用数据增强的一致性正则。它无需外部教师，能提升泛化并减少过拟合。技术核心是软标签携带的类间相似性信息。代表工作有Born-Again Networks、Noisy Student。
别名与相关写法
self-distillation
相关术语
相关公司
相关资讯
SCOPE：面向智能体强化学习的选择性关键步自蒸馏2026/10/30
arXiv 论文：递归自蒸馏致 Qwen3 与 Phi-4 渐进失准2026/10/19
PreSO 提出特权表示隔离的在线自蒸馏方法2026/10/14
激活条件自蒸馏方法 ACSD2026/10/1
UniEvo-VL：多模态模型自蒸馏自进化训练法2026/10/1
论文：多轮智能体自蒸馏不如纯强化学习2026/9/25
论文提出自蒸馏中区分正确性与行为的方法2026/9/21
Muon-RT：复用教师轨迹免动量缓冲，LLM 自蒸馏省 42% 内存2026/11/2