AMD 提出 Fused-Softmax，量化注意力最高提速 3.2 倍
原文标题：Fused-Softmax for efficient quantized attention
重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。
研究提出免训练的 Fused-Softmax Attention，将 softmax 主要运算折叠进注意力 GEMM，把负载从向量单元转移到矩阵核心。在 AMD CDNA 4 架构与 MI355X GPU 上，MXFP8/6/4 内核较 BF16 注意力提速 2.1 至 3.2 倍，且额外误差低于量化误差下限。内核已开源进 AITER 库，并支撑 AMD MLPerf Inference v6.1 提交。
深读 · 结论先行AI 生成展开看要点与影响 ↓
AMD Fused-Softmax 把 softmax 折进注意力 GEMM，MXFP4 内核较 BF16 注意力提速 3.2 倍
- •免训练算法，将 softmax 主要运算折叠进注意力 GEMM，负载从向量单元转移到矩阵核心
- •在 CDNA 4 架构与 MI355X 上，MXFP8/6/4 内核达约 3.0/4.0/4.6 PFLOP/s，较 BF16 注意力提速 2.1/2.8/3.2 倍
- •额外误差低于量化 GEMM 操作数本身的误差下限
- •Wan2.2-T2V-A14B 上混合 MXFP6/4 调度端到端提速最高 2.05 倍；内核已开源进 AITER，并支撑 AMD MLPerf Inference v6.1 提交，同硬件较上轮快 1.7 倍
为什么重要：softmax 是低精度矩阵吞吐增长下的注意力瓶颈，该方案让注意力吃到矩阵核心的性能红利，对 AMD GPU 上的推理部署成本有直接意义。
以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。
AI 处理过程展开/收起
相关推荐
OpenAI 据悉计划采购谷歌 TPU 芯片，降低对英伟达依赖
AI 摘要据报道，OpenAI 正计划采购谷歌自研的张量处理单元（TPU），以扩大算力规模并实现芯片供应多元化，双方尚未敲定最终条款。OpenAI 同时在推进与博通合作、代号 Jalapeno 的自研 AI 芯片。若交易落地，将直接冲击英伟达在 AI 加速芯片市场的主导地位，并重塑云厂商与大模型公司的算力供应格局。
阿联酋因伊朗袭击调整 5GW AI 数据中心计划
AI 摘要据路透社报道，在遭受伊朗袭击后，阿联酋修订了其 5GW AI 数据中心建设计划。该事件凸显地缘政治冲突对中东地区大规模 AI 基础设施投资的直接冲击，可能影响全球算力布局与供应链。
英伟达预计单季营收达1080亿美元
AI 摘要英伟达预测未来几个月内营收将达到1080亿美元，有望成为继亚马逊、苹果和Alphabet之后又一家季度营收超千亿美元的公司。其数据中心营收同比增长一倍以上，利润也大幅增长。
谷歌推出两款新版 TPU 芯片，加速追赶英伟达
AI 摘要谷歌推出两款全新版本张量处理单元（TPU），用于训练和运行 AI 软件，并支持机密计算与更广范围信息调取，适配 AI 智能体趋势。谷歌芯片业务以往每两年推出一款新 AI 处理器，今年一次性发布两款，并将于周一官宣 8tx、8i Max 细分变体。芯片负责人阿明·瓦德特称四款产品分别适配不同需求，强调专用化方向。