★ 3
OMP-MoE：基于正交匹配追踪的专家剪枝
论文提出 OMP-MoE，一种无需训练的 MoE 大模型专家剪枝框架，将剪枝问题重构为稀疏信号重建任务并用正交匹配追踪求解。方法还通过注水策略优化跨层专家分配，并引入自适应推理机制动态调整专家激活。在 Qwen3-30B-A3B 上 50% 压缩仍保留 93.3% 性能，搜索速度提升 33 倍，推…
arXiv cs.LG34 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 OMP-MoE，一种无需训练的 MoE 大模型专家剪枝框架，将剪枝问题重构为稀疏信号重建任务并用正交匹配追踪求解。方法还通过注水策略优化跨层专家分配，并引入自适应推理机制动态调整专家激活。在 Qwen3-30B-A3B 上 50% 压缩仍保留 93.3% 性能，搜索速度提升 33 倍，推…