Semantic Distillation（语义蒸馏）

传统知识蒸馏主要利用教师模型的软标签（logits）作为监督信号，而语义蒸馏进一步强调中间层语义表示的对齐，例如通过对比学习或注意力转移，使学生模型捕获更丰富的语义信息。其技术核心是设计损失函数，最小化学生与教师表示之间的差异。代表工作有DistilBERT、TinyBERT等，广泛应用于模型压缩与加速。