★ 4
整数精确微缩放：在 INT8 矩阵单元上跑 MXFP4 模型
论文证明当 MXFP4 权重行的块指数跨度不超过 3 时，线性层可化为单次 INT8 GEMM 加一次重缩放，七个模型中 97.9%–99.97% 的行天然满足。在苹果 M5 神经加速器上实现 W4A8 系统，输出与量化参考逐位一致，预填充比 MLX 快 1.10–1.74 倍，Qwen3.8-F…
arXiv cs.LG10 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文证明当 MXFP4 权重行的块指数跨度不超过 3 时，线性层可化为单次 INT8 GEMM 加一次重缩放，七个模型中 97.9%–99.97% 的行天然满足。在苹果 M5 神经加速器上实现 W4A8 系统，输出与量化参考逐位一致，预填充比 MLX 快 1.10–1.74 倍，Qwen3.8-F…