Attention Cache（注意力缓存）

在自回归生成中，每次预测新词元都需要计算所有先前词元的键和值，若每次重新计算则计算量巨大。注意力缓存将已计算的键值对存储起来，后续步骤直接复用，避免重复计算。这显著降低了生成延迟，尤其对长序列。缓存通常以键值对形式存储，占用显存，因此有研究如MQA、GQA和PagedAttention来优化缓存内存。该技术已成为大模型推理的标准优化手段。