★ 2
RAPID 用随机投影替代可学习投影，内部蒸馏训练效率提升 21.1%
针对内部激活蒸馏中师生表示维度不匹配、需额外学习投影矩阵却训练后即弃的低效问题，论文提出 RAPID，基于 Johnson-Lindenstrauss 引理构造高效随机变换压缩教师表示，并结合 EMA 与同方差不确定性加权构建多目标损失。在推理后训练实验中训练效率最高提升 21.1%，性能与现有方…
arXiv cs.LG14 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对内部激活蒸馏中师生表示维度不匹配、需额外学习投影矩阵却训练后即弃的低效问题，论文提出 RAPID，基于 Johnson-Lindenstrauss 引理构造高效随机变换压缩教师表示，并结合 EMA 与同方差不确定性加权构建多目标损失。在推理后训练实验中训练效率最高提升 21.1%，性能与现有方…