★ 2
P²-MOPD 用参数先验加速多教师在线策略蒸馏
论文提出 P²-MOPD，将学生与专家参数的线性组合视为单一可微模型，在在线策略蒸馏目标下联合优化混合系数与学生权重。在 1.7B 与 4B 规模、四个领域上，1.7B 模型平均恢复率达 94.7%，高于 MOPD 的 80.9%，且训练步数减半。
arXiv cs.LG14 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 P²-MOPD，将学生与专家参数的线性组合视为单一可微模型，在在线策略蒸馏目标下联合优化混合系数与学生权重。在 1.7B 与 4B 规模、四个领域上，1.7B 模型平均恢复率达 94.7%，高于 MOPD 的 80.9%，且训练步数减半。