Relational Distillation（关系蒸馏）

传统知识蒸馏让学生模型模仿教师对每个样本的预测（如软标签）。关系蒸馏则关注样本之间的关系，例如样本对之间的相似性、距离或排序。学生模型被训练以保持这些关系结构，从而捕获更丰富的知识。这种方法在数据有限或教师模型复杂时特别有效，能提升学生模型的泛化能力。