FlashAttention

标准注意力计算需存储大型注意力矩阵，导致内存瓶颈。FlashAttention利用GPU内存层次，将输入分块加载到快速SRAM中计算，避免存储中间矩阵，从而减少HBM访问。它通过重计算和核融合实现，在保持精度的同时大幅提升速度并降低内存占用。该技术由Tri Dao等人于2022年提出，已成为长序列Transformer训练的关键优化。