#低精度量化

共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 3

AMD 提出 Fused-Softmax,量化注意力最高提速 3.2 倍

研究提出免训练的 Fused-Softmax Attention,将 softmax 主要运算折叠进注意力 GEMM,把负载从向量单元转移到矩阵核心。在 AMD CDNA 4 架构与 MI355X GPU 上,MXFP8/6/4 内核较 BF16 注意力提速 2.1 至 3.2 倍,且额外误差低于…

arXiv cs.AI9 小时前

这个主题的相关资产

相关公司AMD1

相关标签

低精度量化 最新资讯与动态(1 篇) - 智讯 AI News