Linear Attention（线性注意力）

标准Transformer的自注意力机制计算复杂度随序列长度呈二次增长，限制了长文本处理。线性注意力通过将softmax注意力分解为核函数特征映射，利用结合律重新排列计算顺序，将复杂度降至O(N)。代表性方法如Performer使用随机特征近似，Linformer采用低秩投影。这些技术使模型能处理数千甚至数万长度的序列，在语言建模和基因组分析中表现优异。