SAGE:2 比特向量量化 LLM 逼近可用
论文提出 SAGE 权重向量量化方法,用能量分层分组(ESG)保护敏感权重通道,用自适应比特拆分(ABS)在固定比特预算下平衡方向码本与半径精度。在 2 比特设置下达到 SOTA,Qwen3-30B-A3B 保留 BF16 平均基准分的 95.3%,配合定制 CUDA 内核较 FP16 端到端加速最高 2.55 倍。