★ 3
慢快多教师在线蒸馏法缓解多模态模型能力退化
针对多教师在线策略蒸馏（MOPD）导致学生模型通用能力下降的问题，作者提出 SF-MOPD：用快速模型（直接更新）与慢速模型（学生权重的指数滑动平均）配对，在 log 概率空间剔除使快模型偏离慢模型的分量。实验表明该方法缓解能力干扰，提升多模态专长并减少通用基准退化。
arXiv cs.LG28 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对多教师在线策略蒸馏（MOPD）导致学生模型通用能力下降的问题，作者提出 SF-MOPD：用快速模型（直接更新）与慢速模型（学生权重的指数滑动平均）配对，在 log 概率空间剔除使快模型偏离慢模型的分量。实验表明该方法缓解能力干扰，提升多模态专长并减少通用基准退化。