Model Distillation

模型蒸馏由Hinton等人提出，学生模型通过模仿教师模型的输出概率分布（软标签）进行训练，而非仅用真实标签。软标签包含类别间相似性信息，有助于学生模型泛化。蒸馏损失常结合交叉熵和KL散度，广泛应用于模型压缩、加速推理及知识迁移。