★ 3
PRQuant：低开销推理的置换残差量化
论文提出 PRQuant，一种免训练、低开销的低比特量化框架，通过通道重排与静态权重侧残差补偿，将零散的残差补偿转化为规整的尾部增强 GEMM。在 Qwen3 系列模型上，其平均精度超过默认 MXFP4 与多种 PTQ 基线，同时显著降低推理延迟。
arXiv cs.LG41 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 PRQuant，一种免训练、低开销的低比特量化框架，通过通道重排与静态权重侧残差补偿，将零散的残差补偿转化为规整的尾部增强 GEMM。在 Qwen3 系列模型上，其平均精度超过默认 MXFP4 与多种 PTQ 基线，同时显著降低推理延迟。