arXiv cs.LG·53 天前★ 3

EFQ-Softmax：Softmax的无指数低比特量化

原文标题：EFQ-Softmax: Exp-Free Quantization for Softmax

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文提出EFQ-Softmax，直接将移位注意力分数映射为块缩放E2M1操作数，替代传统先指数后量化的路径。在Qwen3-8B、Qwen3-VL-8B-Instruct和WAN2.2上保持端到端质量，并在A5向量单元上将融合概率生成核的向量阶段延迟平均降低40.33%。

深读 · 结论先行AI 生成展开看要点与影响 ↓

EFQ-Softmax跳过指数步骤直接量化注意力分数，融合核向量阶段延迟平均降40.33%

•痛点：低比特注意力已把QK^T和PV放到FP8/FP4矩阵引擎，但softmax仍用高精度算指数、生成临时概率块再量化
•方法：把移位后的注意力分数直接映射为块缩放E2M1操作数，每个微缩放块从局部最大值选纯指数scale，用单一仿射规则生成非负概率码
•质量：Qwen3-8B七任务均值从MXFP4的0.6749升至0.6773，Qwen3-VL-8B-Instruct九任务均值从0.7826升至0.8000，WAN2.2上保持质量
•性能：在A5向量单元上，融合概率生成核的向量阶段延迟平均降低40.33%

为什么重要：消除高精度概率生产者与低比特矩阵消费者之间的错配，是低比特注意力推理落地的关键一环，芯片与推理框架团队值得细读。

以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。

AI 处理过程展开/收起

原始标题：EFQ-Softmax: Exp-Free Quantization for Softmax

AI 中文标题：EFQ-Softmax：Softmax的无指数低比特量化

来源：arXiv cs.LG · 发布于 53 天前

分类：算力芯片 · AI 重要度：★ 3（3）

标签：低比特量化 / 注意力机制 / Transformer推理 / Softmax / 硬件加速

关键词：quantization / softmax / attention / FP4

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐