SGLang（SGLang 推理框架）

SGLang 全称 Structured Generation Language，由 LMSYS 团队开发，旨在简化大语言模型复杂程序的编写与执行。它提供前端语言，允许用户以类似 Python 的语法定义包含控制流、并行和递归的生成过程，后端运行时通过 RadixAttention 等技术实现 KV 缓存复用和高效并行解码。SGLang 解决了传统推理框架难以表达复杂提示逻辑的问题，显著提升多轮对话、树状推理等场景的吞吐量。其代表工作即 SGLang 系统，已在开源社区广泛使用。