★ 3
Latent-MOPD：表示级多教师在线策略蒸馏
论文提出Latent-MOPD，据称是首个面向LLM的表示级多教师在线策略蒸馏方法，同时利用专家的预测分布与计算这些预测所用的隐藏状态，无需额外教师训练。方法按师生关系选择后层目标、用共享投影桥接不同隐藏宽度、按领域分组更新，并让监督从隐藏状态逐步过渡到token预测。在同族与跨族教师设置下，该方…
arXiv cs.LG28 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出Latent-MOPD，据称是首个面向LLM的表示级多教师在线策略蒸馏方法，同时利用专家的预测分布与计算这些预测所用的隐藏状态，无需额外教师训练。方法按师生关系选择后层目标、用共享投影桥接不同隐藏宽度、按领域分组更新，并让监督从隐藏状态逐步过渡到token预测。在同族与跨族教师设置下，该方…