Prompt Cache（提示缓存）

在大语言模型推理中，提示词的处理需要计算自注意力键值对，耗时且耗资源。Prompt Cache将已处理提示的键值状态缓存起来，当相同提示再次出现时直接复用，避免重复计算。这对于多轮对话中固定系统提示或长文档问答场景尤其有效。Anthropic于2024年推出Prompt Caching功能，可降低延迟和成本。实现上需注意缓存失效和内存管理。类似技术如vLLM的PagedAttention也优化了键值缓存，提升吞吐量。