★ 3
ShamAN-Q：面向亚 1 比特 LLM 权重的量化方法
论文提出 ShamAN-Q，一种亚 1 比特训练后量化方法，扩展 NanoQuant，用可处理的稠密曲率度量替代对角重构几何，借鉴 Shampoo 优化器范式。在 Qwen3-Base 上，约 1 bpw 时 WikiText-2 困惑度显著下降，0.6B 模型在约 0.8 bpw 即可匹配 Na…
arXiv cs.LG32 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 ShamAN-Q，一种亚 1 比特训练后量化方法，扩展 NanoQuant，用可处理的稠密曲率度量替代对角重构几何，借鉴 Shampoo 优化器范式。在 Qwen3-Base 上，约 1 bpw 时 WikiText-2 困惑度显著下降，0.6B 模型在约 0.8 bpw 即可匹配 Na…