arXiv cs.LG·7 天前★ 3

GS-MoE 提出免训练 MoE 压缩，DeepSeek-MoE 减参 60% 保留九成性能

原文标题：GS-MoE: Training-Free MoE Compression via Groupwise Subspace Sharing and Pruning

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文提出免训练 MoE 压缩框架 GS-MoE，通过组内共享低秩子空间与基于 Nyström 的神经元压缩两条轴削减专家冗余。在 DeepSeek-MoE-16B-Base 上参数减少 60% 仍保留约 90% 推理性能，优于 D²-MoE 的 73%，并开源代码。

深读 · 结论先行AI 生成展开看要点与影响 ↓

GS-MoE免训练压缩DeepSeek-MoE-16B，减参60%仍保留约90%推理性能

为什么重要：MoE的专家参数存储是主要内存瓶颈，免训练压缩且高压缩率下性能保持明显更好，对部署大MoE的团队有直接降本价值。

以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。

AI 处理过程展开/收起

原始标题：GS-MoE: Training-Free MoE Compression via Groupwise Subspace Sharing and Pruning

AI 中文标题：GS-MoE 提出免训练 MoE 压缩，DeepSeek-MoE 减参 60% 保留九成性能

来源：arXiv cs.LG · 发布于 7 天前

分类：大模型 · AI 重要度：★ 3（3）

标签：MoE / 模型压缩 / 低秩分解 / DeepSeek / 开源代码

关键词：MoE 压缩 / 模型压缩 / DeepSeek-MoE / 低秩分解 / 免训练压缩

AI 处理：2026/10/26 12:01:57 · 模型 deepseek-chat · 规则版本 2026-10-21.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐