技术
KV cache（KV 缓存）
在 Transformer 推理中缓存键值对，避免重复计算，加速生成并降低延迟。
详细解释
自回归生成时，每个新 token 需计算注意力，涉及所有历史 token 的键（K）和值（V）。KV cache 将已计算的 K、V 存储起来，后续步骤直接复用，减少计算量。但内存占用随序列长度线性增长，需优化如 PagedAttention、量化等。是 LLM 高效推理的关键技术。
别名与相关写法
kv cache
相关术语
相关公司
相关资讯
港科CMU联手岩山科技开源新模型，KV Cache砍99%吞吐提升6倍2026/10/26
汪涛详解华为AI战略：昇腾960提前登场2026/9/17
DeepSeek发布V4.1-Flash：1M上下文与FP4 KV缓存2026/9/10
DeepSeek V4.1-Flash重构KV Cache2026/9/11
OCR开源新模型将KV Cache压成常数，缓存砍96%2026/10/27
GLM-5.3 Workers AI 模型被曝跨请求 KV 缓存泄露2026/10/27
Gandalf：延长 SSD 寿命的 KV Cache 卸载系统2026/10/23