★ 3
JARQ：量化联合交替精修方法
分组训练后量化器将权重舍入到未针对整数码重新拟合的网格上，损失了精度。论文提出 JARQ，从任意分组量化器出发，交替进行所有组尺度的联合最小二乘拟合与有界 Babai 提议，可同时移动一组内多个码。该方法无需反向传播，不改变宿主位宽、分组、零点与推理成本，在 Llama-2/3 与 Qwen 上 …
arXiv cs.LG32 天前
#训练后量化
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
ShamAN-Q：面向亚 1 比特 LLM 权重的量化方法
论文提出 ShamAN-Q，一种亚 1 比特训练后量化方法，扩展 NanoQuant，用可处理的稠密曲率度量替代对角重构几何，借鉴 Shampoo 优化器范式。在 Qwen3-Base 上，约 1 bpw 时 WikiText-2 困惑度显著下降，0.6B 模型在约 0.8 bpw 即可匹配 Na…
arXiv cs.LG32 天前
★ 2
MPQ 提出消息传递视角的训练后量化方法
论文将逐行训练后量化（PTQ）建模为离散码本上的后验推断，指出 GPTQ、LDLQ 等方法相当于零温度硬判决极限。提出的 Message-Passing Quantization（MPQ）在推断中保留软后验信息，仅在输出阶段硬判决，在 Llama、Qwen、Mistral 系列模型 2/3/4 比…
arXiv cs.AI7 天前
★ 2
自回归天气模型训练后量化研究
该论文研究训练后量化（PTQ）对全球尺度天气预报 AI 模拟器的影响，在 DLWP 与 FourCastNet 模型上实现 PTQ 算法作为概念验证。结果显示在短时预报窗口内量化配置仍能给出定性有意义的预报，为自回归天气模拟器提供了首个 PTQ 基准。
arXiv cs.LG28 天前