技术
Context Cache（上下文缓存）
Context Cache 是一种缓存大语言模型推理过程中上下文键值对的技术，旨在避免重复计算，从而降低延迟和计算成本。它通过存储已处理上下文的中间状态，使模型在生成后续内容时直接复用，典型应用于长对话、文档问答等场景，如 Anthropic 的提示缓存功能。
详细解释
在 Transformer 架构中，自注意力机制需要为每个输入 token 计算键（Key）和值（Value）矩阵。当处理长上下文或多轮对话时，重复计算相同前缀的 KV 对会造成大量冗余。Context Cache 通过缓存这些中间结果，在后续生成中直接读取，显著提升推理速度。该技术尤其适用于少样本提示、系统提示固定等场景，可降低高达 90% 的延迟和成本。目前，Anthropic、OpenAI 等厂商已在 API 中提供类似功能，成为优化 LLM 服务效率的关键手段。
别名与相关写法
context cache