技术
Self-Attention（自注意力）
Self-Attention是Transformer的核心机制，让序列中每个位置都能关注其他所有位置，从而捕捉长距离依赖。
详细解释
Self-Attention通过计算Query、Key、Value矩阵，得到注意力权重，加权求和输出。它并行计算，克服了RNN的顺序依赖，成为BERT、GPT等模型的基础。其变体包括多头注意力，能捕捉不同子空间特征。
别名与相关写法
self-attention
Self-Attention是Transformer的核心机制，让序列中每个位置都能关注其他所有位置，从而捕捉长距离依赖。
Self-Attention通过计算Query、Key、Value矩阵，得到注意力权重，加权求和输出。它并行计算，克服了RNN的顺序依赖，成为BERT、GPT等模型的基础。其变体包括多头注意力，能捕捉不同子空间特征。