Sparse Attention（稀疏注意力）

标准自注意力计算所有token对之间的关联，复杂度为O(n²)。Sparse Attention通过限制每个token只关注局部窗口或特定全局token，将复杂度降至O(n)或O(n log n)。常见模式包括滑动窗口、膨胀窗口和随机注意力。Longformer结合局部窗口与全局注意力，BigBird引入随机注意力，均在长文本任务上取得优秀效果，同时保持模型性能。