★ 3
SoloQ：扩散语言模型免校准量化
论文提出 SoloQ，一种免校准量化框架，将权重与激活映射到归一化旋转基，使其边缘分布可预测，从而实现数据无关量化。SoloQ 结合结构化 K-RPBH 旋转与轻量重缩放校正，支持分布匹配码本与硬件原生 NVFP4，并对块扩散模型采用提交时 KV 缓存量化。在 LLaDA、Dream 等模型上，S…
arXiv cs.LG26 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 SoloQ，一种免校准量化框架，将权重与激活映射到归一化旋转基，使其边缘分布可预测，从而实现数据无关量化。SoloQ 结合结构化 K-RPBH 旋转与轻量重缩放校正，支持分布匹配码本与硬件原生 NVFP4，并对块扩散模型采用提交时 KV 缓存量化。在 LLaDA、Dream 等模型上，S…