技术
LLM 推理
指大语言模型根据输入生成输出的过程，即模型进行预测或回答的计算阶段。
详细解释
LLM 推理是模型训练完成后，接收用户输入（提示）并生成响应的过程。与训练不同，推理通常不需要反向传播，但需要高效处理自回归生成。关键技术包括键值缓存（KV Cache）、批处理、量化等，以降低延迟和计算成本。推理性能直接影响用户体验和部署成本，是模型落地的关键环节。
别名与相关写法
llm 推理
相关术语
inference共现 16 篇
LLM Inference共现 14 篇
Reasoning共现 8 篇
LLM reasoning共现 6 篇
Local LLM Inference共现 3 篇
论文共现 3 篇
相关公司
相关资讯
Resin 开源：面向 LLM 推理引擎的原生调度器2026/10/27
BELT：为 LLM 推理早停学习可复用表征2026/10/23
ReAPO 提出重试感知策略优化，提升 LLM 推理探索效率2026/10/22
英伟达发布 Blackwell 架构 LLM 推理方案 Flare2026/10/21
SpaRLax 提出面向 LLM 推理的稀疏强化学习松弛方法2026/10/21
苹果发布 RSI-Inference 评估自改进 LLM 推理智能体2026/10/18
研究实测 86 个开源 LLM 推理能耗效率差异2026/10/14