★ 3
研究提出 DRQ 分布鲁棒量化改进低比特 LLM 量化
论文发现最小化重建损失所偏好的权重未必带来更好下游性能，输入激活分布变化时低重建损失权重反而更差。据此提出 Distributionally Robust Quantization（DRQ），在约束激活分布集上最小化最坏情况重建损失，改进 AWQ、GPTQ、ParoQuant 等六种 PTQ 方法…
arXiv cs.AI24 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文发现最小化重建损失所偏好的权重未必带来更好下游性能，输入激活分布变化时低重建损失权重反而更差。据此提出 Distributionally Robust Quantization（DRQ），在约束激活分布集上最小化最坏情况重建损失，改进 AWQ、GPTQ、ParoQuant 等六种 PTQ 方法…
论文提出 PRQuant，一种免训练、低开销的低比特量化框架，通过通道重排与静态权重侧残差补偿，将零散的残差补偿转化为规整的尾部增强 GEMM。在 Qwen3 系列模型上，其平均精度超过默认 MXFP4 与多种 PTQ 基线，同时显著降低推理延迟。