★ 2
在策略与离策略蒸馏的目标差异解析
论文系统研究多教师序列蒸馏，指出前向 KL 产生加权算术混合、反向 KL 产生归一化加权几何聚合，并给出表格与函数逼近下的对数遗憾界。分析揭示了在策略蒸馏（OPD）相对 SFT 减少遗忘的优势及其脆弱性来源。反向 KL 更能保留自信专家的偏好，但对低概率正确响应的教师更敏感。
arXiv cs.LG32 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文系统研究多教师序列蒸馏，指出前向 KL 产生加权算术混合、反向 KL 产生归一化加权几何聚合，并给出表格与函数逼近下的对数遗憾界。分析揭示了在策略蒸馏（OPD）相对 SFT 减少遗忘的优势及其脆弱性来源。反向 KL 更能保留自信专家的偏好，但对低概率正确响应的教师更敏感。