格式感知融合加速 FP4 预训练
原文标题：Format-Aware Fusion for Fast FP4 Pretraining
重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。
论文提出格式感知融合方法，将量化生产者与尺度域、消费者布局协同设计，用于原生 MXFP、全局 NVFP 与 CTA 局部 NVFP。在 Llama-3 系列 8B 预训练中，最快路径达 37.9K tokens/s/GPU，MXFP 路线达 86.3% BF16 模型 FLOP 利用率。
深读 · 结论先行AI 生成展开看要点与影响 ↓
格式感知融合让Llama-3 8B的FP4预训练达37.9K tokens/s/GPU，远超BF16的18.8K。
- •将量化生产者与尺度域、消费者布局协同设计，覆盖原生MXFP、全局NVFP与CTA局部NVFP
- •同加速器对比：BF16为18.8K、Transformer Engine NVFP为27.6K tokens/s/GPU，最快自定义路径达37.9K
- •MXFP路线达37.2K tokens/s/GPU，即86.3%的BF16模型FLOP利用率，训练损失终点高2.11%
- •TE配方加四个最终BF16块在27.1K tokens/s/GPU下损失仅高0.87%
- •下游任务排名与训练损失排名不一致，说明FP4效果取决于尺度契约、操作数与执行路径
为什么重要：FP4预训练长期受尺度计算与布局开销拖累，该工作给出接近BF16精度的吞吐提升路径，对预训练成本敏感的大模型团队直接相关。
以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。
AI 处理过程展开/收起
相关推荐
OpenAI 据悉计划采购谷歌 TPU 芯片，降低对英伟达依赖
AI 摘要据报道，OpenAI 正计划采购谷歌自研的张量处理单元（TPU），以扩大算力规模并实现芯片供应多元化，双方尚未敲定最终条款。OpenAI 同时在推进与博通合作、代号 Jalapeno 的自研 AI 芯片。若交易落地，将直接冲击英伟达在 AI 加速芯片市场的主导地位，并重塑云厂商与大模型公司的算力供应格局。
阿联酋因伊朗袭击调整 5GW AI 数据中心计划
AI 摘要据路透社报道，在遭受伊朗袭击后，阿联酋修订了其 5GW AI 数据中心建设计划。该事件凸显地缘政治冲突对中东地区大规模 AI 基础设施投资的直接冲击，可能影响全球算力布局与供应链。
英伟达预计单季营收达1080亿美元
AI 摘要英伟达预测未来几个月内营收将达到1080亿美元，有望成为继亚马逊、苹果和Alphabet之后又一家季度营收超千亿美元的公司。其数据中心营收同比增长一倍以上，利润也大幅增长。
英伟达公布 OOI 共封装光学技术，原型样品已到位
AI 摘要英伟达在 SEMICON West 2026 上展示下一代共封装光学方案 OOI（Optics-on-Interposer），用大面积硅中介层取代有机封装基板，把光引擎直接集成到承载 GPU 的中介层上。该方案旨在为超大规模 AI 集群提供更高带宽互联，目前仍处研究阶段，无商业化时间表。