技术
Prompt Caching（提示缓存）
Prompt Caching 是一种优化大语言模型推理的技术，通过缓存重复提示的中间计算结果，减少计算开销和延迟。它适用于多轮对话、少样本学习等场景，代表实现如 Anthropic 的 Claude 和 OpenAI 的 API 缓存功能。
详细解释
在 Transformer 模型中，提示处理需计算键值对（KV）并存储，以便自回归生成。当相同或相似提示重复出现时，缓存这些 KV 可避免重复计算。Prompt Caching 通常基于前缀匹配，将常用上下文（如系统指令、示例）缓存，后续请求直接复用。这显著降低延迟和成本，尤其适合长提示和批量推理。技术挑战包括缓存失效、内存管理和一致性，现有系统如 vLLM 的 PagedAttention 也支持类似优化。
别名与相关写法
prompt caching
相关术语
相关公司
相关资讯
GPT-6提示缓存能力升级2026/9/23