★ 3
研究提出 DRQ 分布鲁棒量化改进低比特 LLM 量化
论文发现最小化重建损失所偏好的权重未必带来更好下游性能，输入激活分布变化时低重建损失权重反而更差。据此提出 Distributionally Robust Quantization（DRQ），在约束激活分布集上最小化最坏情况重建损失，改进 AWQ、GPTQ、ParoQuant 等六种 PTQ 方法…
arXiv cs.AI24 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文发现最小化重建损失所偏好的权重未必带来更好下游性能，输入激活分布变化时低重建损失权重反而更差。据此提出 Distributionally Robust Quantization（DRQ），在约束激活分布集上最小化最坏情况重建损失，改进 AWQ、GPTQ、ParoQuant 等六种 PTQ 方法…