技术
KV Cache Compression
压缩大模型推理时存储的键值缓存，以降低显存占用并提升生成速度。
详细解释
在自回归生成中，模型需缓存历史键值对（KV Cache）以避免重复计算，但长序列下显存开销巨大。KV Cache Compression 通过量化、剪枝、低秩分解或共享注意力头等方法减少缓存大小，从而支持更长上下文或更大批量，是高效推理的关键技术。
别名与相关写法
kv cache compression
相关术语
相关公司
相关资讯
MoEZip 论文：面向稀疏 MoE 大模型的路由感知 KV 缓存压缩2026/10/23
KVFetch 提出 KV 缓存时序预取压缩框架2026/10/8
AttSVD：注意力引导的低秩KV缓存压缩2026/10/7
KV缓存压缩下关键词拒答率骤降但分类器仍稳定2026/9/29
StepKV：面向 LLM 智能体的步骤感知 KV 缓存压缩2026/9/22
DeepSeek-v4.1 Flash 推进 KV 缓存压缩极限2026/9/17