★ 3
RAZOR：剪枝大模型中的可替换专家
论文提出 RAZOR，一种免训练的 MoE 专家剪枝方法，通过共识残差评估专家的功能可替换性，而非仅看使用频率或贡献幅度。在 GLM-4.7-Flash、Qwen3.6-35B-A3B、DeepSeek-V4-Flash-0731 与 Hy3 上，25% 与 50% 剪枝率下均取得九任务宏平均最优…
arXiv cs.LG35 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 RAZOR，一种免训练的 MoE 专家剪枝方法，通过共识残差评估专家的功能可替换性，而非仅看使用频率或贡献幅度。在 GLM-4.7-Flash、Qwen3.6-35B-A3B、DeepSeek-V4-Flash-0731 与 Hy3 上，25% 与 50% 剪枝率下均取得九任务宏平均最优…