在线策略蒸馏

传统知识蒸馏用固定数据集离线模仿教师输出，而在策略蒸馏中，学生模型自己生成轨迹，再由教师对轨迹上的动作分布给出指导，属于 on-policy 学习。它结合了强化学习与蒸馏思想，能缓解训练与推理分布不一致的问题，常用于大模型压缩、推理能力迁移和对话策略优化，提升小模型在自身生成分布上的表现。