ProQuant：MoE 模型超低比特量化保专家质量
原文标题：ProQuant: Preserving Expert Quality over Quantity in Ultra-Low-Bit Quantization of Mixture-of-Experts Models
重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。
论文提出 ProQuant，面向混合专家（MoE）大模型的仅权重量化后训练框架，在极低比特预算下保持生成质量。方法包含联合优化专家剪枝与位宽分配的 PoP，以及通过等价变换补偿量化误差、抑制路由漂移的 RoCo 微调。实验显示其在多种生成任务上优于现有方法，代码已开源。
深读 · 结论先行AI 生成展开看要点与影响 ↓
ProQuant 用专家剪枝加位宽联合分配与路由一致微调，在极低比特下保住 MoE 生成质量。
- •针对 MoE 大模型存储成本高的问题，做仅权重的训练后量化（PTQ）。
- •指出两个问题：忽略跨层传播会低估极低精度下的非线性量化误差；直接微调路由器会导致路由漂移。
- •PoP 联合优化专家剪枝与位宽分配，让高精度专家替代严重退化的专家。
- •RoCo 通过数学等价变换调整专家输入表示，补偿量化误差、抑制路由漂移。
- •代码已开源（GitHub 链接随论文给出）。
为什么重要：对需要在有限显存下部署 MoE 模型的工程团队有用：混合精度分配与路由稳定性是两个实际痛点。
以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。
AI 处理过程展开/收起
相关推荐
DeepSeek 重磅开源 Agent 底座架构
AI 摘要DeepSeek 开源一套面向 Agent 的底座架构，据称 AI 已能自行定位 Bug 并提交 PR。该开源动作指向智能体工程化基础设施，可能影响 Agent 开发范式。
Mistral 开源万亿参数模型权重，主攻网络安全
AI 摘要Mistral 发布其万亿参数模型的权重，主打网络安全场景，称开放权重能让组织获得闭源模型无法提供的防御控制权。这是欧洲大模型厂商在开源路线上的又一次重要动作。
Mistral 开源 Mistral Large 4（Le Chonk）权重
AI 摘要Mistral 宣布以开放权重形式发布 Mistral Large 4，代号 Le Chonk。该消息在 Hacker News 引发 410 分热度与近百条讨论，标志 Mistral 继续坚持开源路线。
港科CMU联手岩山科技开源新模型，KV Cache砍99%吞吐提升6倍
AI 摘要香港科技大学、CMU与岩山科技联合开源新模型，通过将KV Cache压缩99%，实现单卡512路长推理并发、吞吐提升6倍。该成果显著降低长上下文推理的显存与成本压力。