#比特分配

Colla-Q：基于激活熵的MoE量化比特分配框架

论文提出Colla-Q，一种基于激活熵的混合专家（MoE）量化比特分配方法，旨在让各专家在量化后保持性能均衡。由于MoE中单个专家参数量小、对低比特表示敏感，量化易导致个别专家性能骤降并拖累整体。Colla-Q通过激活熵驱动的比特宽度分配，提升整体MoE性能并降低对校准数据集的依赖，代码已开源。