Distillation（知识蒸馏）

知识蒸馏由Hinton等人于2015年正式提出，核心思想是利用教师模型输出的软标签（soft targets）作为监督信号，其中温度参数控制软标签的平滑程度。学生模型通过最小化与教师模型输出分布的KL散度来学习，同时可结合真实标签的交叉熵损失。后续发展出特征蒸馏、注意力蒸馏和关系蒸馏等变体，广泛应用于模型压缩、加速推理和跨模态迁移。