★ 3
JARQ：量化联合交替精修方法
分组训练后量化器将权重舍入到未针对整数码重新拟合的网格上，损失了精度。论文提出 JARQ，从任意分组量化器出发，交替进行所有组尺度的联合最小二乘拟合与有界 Babai 提议，可同时移动一组内多个码。该方法无需反向传播，不改变宿主位宽、分组、零点与推理成本，在 Llama-2/3 与 Qwen 上 …
arXiv cs.LG32 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
分组训练后量化器将权重舍入到未针对整数码重新拟合的网格上，损失了精度。论文提出 JARQ，从任意分组量化器出发，交替进行所有组尺度的联合最小二乘拟合与有界 Babai 提议，可同时移动一组内多个码。该方法无需反向传播，不改变宿主位宽、分组、零点与推理成本，在 Llama-2/3 与 Qwen 上 …
论文提出 ShamAN-Q，一种亚 1 比特训练后量化方法，扩展 NanoQuant，用可处理的稠密曲率度量替代对角重构几何，借鉴 Shampoo 优化器范式。在 Qwen3-Base 上，约 1 bpw 时 WikiText-2 困惑度显著下降，0.6B 模型在约 0.8 bpw 即可匹配 Na…