技术
Softmax（Softmax函数）
Softmax函数将实数向量转化为概率分布，常用于多分类输出层。它解决模型输出归一化问题，典型应用包括图像分类和语言模型，代表工作如AlexNet和Transformer。
详细解释
Softmax定义为σ(z)_i = exp(z_i)/Σexp(z_j)，确保输出非负且和为1。它可导，便于梯度下降。在深度学习中，常与交叉熵损失结合。数值稳定通过减去最大值实现。
别名与相关写法
softmax
相关术语
相关资讯
PolicyAttention：Softmax 注意力实现策略镜像下降2026/9/28
EFQ-Softmax：Softmax的无指数低比特量化2026/9/10
arXiv 论文用属性测试发现 Softmax 与交叉熵数值问题并提出更稳健实现2026/10/28
考虑电路：突破单一Softmax的深度分离与普适性2026/10/6