★ 3
L0 正则化混合专家加速稠密大模型
论文提出 L0-MoE，一种利用 L0 正则化的轻量级混合专家方法，可在几乎不损失性能的前提下加速稠密 LLM。方法引入聚类混淆矩阵进行领域感知数据筛选，并采用动态批处理提升训练效率。实验显示相比稠密模型最高提速 2.5 倍，优于现有加速基线。
arXiv cs.AI42 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 L0-MoE，一种利用 L0 正则化的轻量级混合专家方法，可在几乎不损失性能的前提下加速稠密 LLM。方法引入聚类混淆矩阵进行领域感知数据筛选，并采用动态批处理提升训练效率。实验显示相比稠密模型最高提速 2.5 倍，优于现有加速基线。