★ 3
MoRA：基于路由偏置学习的 MoE 剪枝
针对混合专家模型部署时显存占用大的问题，论文提出 MoRA 结构化专家剪枝框架。它为每个专家引入可学习路由偏置，通过最小化语言建模损失与路由多样性正则来识别关键专家，并加入专家近似机制用剩余专家拟合被剪枝专家的输出。在 Qwen3-30B-A3B、DeepSeek-V2-Lite、Moonligh…
arXiv cs.LG31 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对混合专家模型部署时显存占用大的问题，论文提出 MoRA 结构化专家剪枝框架。它为每个专家引入可学习路由偏置，通过最小化语言建模损失与路由多样性正则来识别关键专家，并加入专家近似机制用剩余专家拟合被剪枝专家的输出。在 Qwen3-30B-A3B、DeepSeek-V2-Lite、Moonligh…