#安全检测

KVGuard：面向 LLM 推理系统的 KV 缓存安全检查器

该论文提出 KVGuard，一种针对大语言模型推理服务系统的 KV 缓存安全检查工具。它旨在检测和防范 KV 缓存相关的安全风险，提升推理系统的可靠性。研究为 LLM 服务基础设施的安全防护提供新方法。