★ 3AMD 提出 Fused-Softmax,量化注意力最高提速 3.2 倍研究提出免训练的 Fused-Softmax Attention,将 softmax 主要运算折叠进注意力 GEMM,把负载从向量单元转移到矩阵核心。在 AMD CDNA 4 架构与 MI355X GPU 上,MXFP8/6/4 内核较 BF16 注意力提速 2.1 至 3.2 倍,且额外误差低于…arXiv cs.AI9 小时前