技术
Scaled Dot-Product Attention（缩放点积注意力）
缩放点积注意力是Transformer的核心机制，通过查询与键的点积计算权重并加权值，解决序列建模中长距离依赖问题，代表工作为《Attention Is All You Need》。
详细解释
该机制将输入映射为Q、K、V矩阵，计算QK^T并除以√d_k防止梯度消失，再经softmax得到注意力权重，最后加权V。它支持并行计算，克服了RNN的序列依赖，成为BERT、GPT等模型的基础，并衍生出多头注意力。
别名与相关写法
scaled dot-product attention