★ 3
EFQ-Softmax：Softmax的无指数低比特量化
论文提出EFQ-Softmax，直接将移位注意力分数映射为块缩放E2M1操作数，替代传统先指数后量化的路径。在Qwen3-8B、Qwen3-VL-8B-Instruct和WAN2.2上保持端到端质量，并在A5向量单元上将融合概率生成核的向量阶段延迟平均降低40.33%。
arXiv cs.LG53 天前
#Softmax
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
arXiv 论文用属性测试发现 Softmax 与交叉熵数值问题并提出更稳健实现
论文用 Hypothesis 属性测试复现了 Barron 等人指出的 PyTorch、JAX 等主流库中 softmax 与交叉熵的数值问题，并额外发现一个边界失败案例。作者提出更稳健的 softmax 实现，支持因果注意力掩码，并开源了代码与测试。
arXiv cs.LG5 天前
★ 2
考虑电路：突破单一Softmax的深度分离与普适性
研究者提出「考虑电路」（Consideration Circuits, CC），一种基于多阶段选择的有向无环图模型，由多个多项Logit（MNL）单元构成，替代传统单一softmax打分方式。论文证明在固定非共线特征的三项折中任务上，深度从2增至3可将达到误差ε所需的最优最大偏好向量范数从Θ(lo…
arXiv cs.LG27 天前