Experience Distillation（经验蒸馏）

经验蒸馏是一种将复杂模型或智能体的经验知识迁移到轻量模型的技术，旨在解决模型部署效率与性能的平衡问题。它通过模仿教师模型的输出或中间特征来训练学生模型，应用于模型压缩、持续学习等领域，代表工作有Hinton的知识蒸馏。