Softmax Attention

Softmax Attention 是 Transformer 的核心，计算式为 softmax(QKᵀ/√d)V，其中缩放因子缓解点积过大导致的梯度消失。它让每个位置动态聚合全局信息，支持并行训练，但计算与显存随序列长度呈平方增长。后续的线性注意力、稀疏注意力等变体多以此为基线进行效率改进。