★ 3
格式感知融合加速 FP4 预训练
论文提出格式感知融合方法，将量化生产者与尺度域、消费者布局协同设计，用于原生 MXFP、全局 NVFP 与 CTA 局部 NVFP。在 Llama-3 系列 8B 预训练中，最快路径达 37.9K tokens/s/GPU，MXFP 路线达 86.3% BF16 模型 FLOP 利用率。
arXiv cs.LG31 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出格式感知融合方法，将量化生产者与尺度域、消费者布局协同设计，用于原生 MXFP、全局 NVFP 与 CTA 局部 NVFP。在 Llama-3 系列 8B 预训练中，最快路径达 37.9K tokens/s/GPU，MXFP 路线达 86.3% BF16 模型 FLOP 利用率。