#低秩压缩

AttSVD：注意力引导的低秩KV缓存压缩

论文提出AttSVD，一种基于每个提示自身注意力几何的可解释低秩KV缓存压缩方法，通过在线逐提示截断SVD仅保留注意力实际读取的方向。方法提出累积与流式两种解码缓存策略，以及能量规则与注意力感知基截断两项自适应改进。在多个模型、智能体基准与LongBench上，AttSVD在保持与稠密缓存相当性能…