技术基础术语
模型蒸馏（Knowledge Distillation）
模型蒸馏是一种将大型教师模型的知识迁移到小型学生模型的技术，解决大模型部署困难问题，典型应用包括移动端模型压缩，代表工作有Hinton的蒸馏和DistilBERT。
详细解释
蒸馏通过让学生模型模仿教师模型的输出分布（软标签）来学习，从而在参数量大幅减少的情况下保持性能。方法包括响应蒸馏、特征蒸馏和关系蒸馏。DistilBERT将BERT缩小40%但保留97%性能。蒸馏常与量化、剪枝结合，用于边缘设备部署，是模型压缩的重要方向。
别名与相关写法
distill蒸馏studentteacher
相关术语
Distillation共现 92 篇
on-policy distillation共现 30 篇
在线策略蒸馏共现 19 篇
Self-distillation共现 15 篇
Agent共现 14 篇
Reasoning共现 13 篇
相关公司
相关资讯
Claude Fable 5.1发布，性能提升降价45%2026/9/2
AI 取代岗位，美国计算机专业招生人数下滑2026/11/1
Anthropic披露阿里、月之暗面与DeepSeek蒸馏攻击2026/9/11
纽约市禁止低龄学生使用AI2026/9/2
美司法部指控 AI「幽灵学生」骗取数百万学生贷款2026/10/31
Artifact Distillation：免训练把前沿模型能力迁移到小模型2026/10/30
研究拆解顺序微调中回放与蒸馏对 LLM 安全性的作用2026/10/30