★ 3
EFQ-Softmax：Softmax的无指数低比特量化
论文提出EFQ-Softmax，直接将移位注意力分数映射为块缩放E2M1操作数，替代传统先指数后量化的路径。在Qwen3-8B、Qwen3-VL-8B-Instruct和WAN2.2上保持端到端质量，并在A5向量单元上将融合概率生成核的向量阶段延迟平均降低40.33%。
arXiv cs.LG53 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出EFQ-Softmax，直接将移位注意力分数映射为块缩放E2M1操作数，替代传统先指数后量化的路径。在Qwen3-8B、Qwen3-VL-8B-Instruct和WAN2.2上保持端到端质量，并在A5向量单元上将融合概率生成核的向量阶段延迟平均降低40.33%。