arXiv cs.LG·34 天前★ 3

OMP-MoE:基于正交匹配追踪的专家剪枝

原文标题:OMP-MoE: Efficient Expert Pruning for Mixture-of-Experts LLMs via Orthogonal Matching Pursuit

重要度 3/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。

AI 智能摘要

论文提出 OMP-,一种无需训练的 专家剪枝框架,将剪枝问题重构为稀疏信号重建任务并用正交匹配追踪求解。方法还通过注水跨层专家分配,并引入自适应推理机制动态调整专家激活。在 Qwen3-30B-A3B 上 50% 压缩仍保留 93.3% 性能,搜索速度提升 33 倍, 1.55 倍。

深读 · 结论先行AI 生成展开看要点与影响 ↓

OMP-MoE免训练剪枝:Qwen3-30B-A3B压50%仍保93.3%性能,搜索快33倍、推理快1.55倍。

  • •把专家剪枝重构为稀疏信号重建,用正交匹配追踪以线性复杂度贪心选专家,无需训练
  • •用注水策略按重建质量与路由稳定性优化跨层专家分配
  • •OMP-MoE†自适应推理机制基于能量预测动态调整专家激活
  • •在、-V2、-OSS、Mixtral上25-50%剪枝率均优于现有方法
  • •Qwen3-30B-A3B 50%压缩下保留93.3%原性能,搜索提速33倍、推理提速1.55倍

为什么重要:MoE显存占用是部署瓶颈,免训练且搜索成本低一个数量级的剪枝方案,对推理侧降本更易落地。

以上深读由 AI 依据标题/摘要/正文节选生成,仅供参考;事实以原文为准。

阅读原文 +0
AI 处理过程展开/收起
原始标题:OMP-MoE: Efficient Expert Pruning for Mixture-of-Experts LLMs via Orthogonal Matching Pursuit
AI 中文标题:OMP-MoE:基于正交匹配追踪的专家剪枝
来源:arXiv cs.LG · 发布于 34 天前
分类:大模型 · AI 重要度:★ 3(3)
标签:混合专家 / 模型剪枝 / 推理加速 / 稀疏重建
关键词:Mixture-of-Experts / pruning / Orthogonal Matching Pursuit / LLM
AI 生成以上内容由 AI 自动生成:中文标题、摘要、分类与重要度;同一事件的多家报道会自动归并展示。 内容仅供参考,可能存在偏差,请以原文为准, 不构成任何投资或专业建议。
版权归原作者与原发布平台所有;若涉及侵权或信息错误,请在举报与侵权投诉页反馈,我们会及时处理。
每天 09:30,3 条 AI 圈真正重要的变化,免费订阅 →
OMP-MoE:基于正交匹配追踪的专家剪枝 - 智讯 AI News