AI 事件专题★ 2

Colla-Q MoE量化框架

Colla-Q:基于激活熵的MoE量化比特分配框架

09-17 12:00 首发·1 家媒体·1 篇报道·持续 1 天·学术研究
当事方:MMiniMax
事件综述

论文提出Colla-Q,一种基于激活熵的()量化比特分配方法,旨在让各专家在量化后保持性能均衡。由于MoE中单个专家参数量小、对低比特表示敏感,量化易导致个别专家性能骤降并拖累整体。Colla-Q通过激活熵驱动的比特宽度分配,提升整体MoE性能并降低对校准数据集的依赖,代码已开源。

各方报道 1 篇

arXiv cs.LG·09-17 12:00★ 2
Colla-Q:基于激活熵的MoE量化比特分配框架

论文提出Colla-Q,一种基于激活熵的混合专家(MoE)量化比特分配方法,旨在让各专家在量化后保持性能均衡。由于MoE中单个专家参数量小、对低比特表示敏感,量化易导致个别专家性能骤降并拖累整体。Colla-Q通过激活熵驱动的比特宽度分配,提升整体MoE性能并降低对校准数据集的依赖,代码已开源。

原文

关联

MiniMax 其他动态(18 篇,与该事件无直接关联)展开 ▾
Colla-Q MoE量化框架 最新进展 - 事件时间线 - 智讯 AI News