技术
vLLM（vLLM 推理引擎）
vLLM 是一个高效的大语言模型推理和服务引擎，通过创新的内存管理大幅提升吞吐量。
详细解释
vLLM 由加州大学伯克利分校团队开发，核心是 PagedAttention 技术，将注意力键值缓存分页管理，减少内存碎片，支持高并发请求。它兼容 HuggingFace 模型，提供 OpenAI 兼容 API，广泛应用于生产环境部署大模型。
别名与相关写法
vllm
相关术语
相关公司
相关资讯
vLLM 修复工具调用准确率问题2026/10/26
用 vLLM 实现规模化本地 LLM 推理2026/10/10
用 vLLM 实现大规模本地 LLM 推理2026/10/10
在vLLM与Red Hat AI上运行决策模型2026/9/29