技术
LLM Inference（大模型推理）
LLM Inference指使用训练好的大语言模型进行前向计算，根据输入生成文本或回答，解决实际部署中的响应速度与成本问题，典型应用如ChatGPT对话、代码补全，需优化显存与延迟。
详细解释
大模型推理涉及自回归生成，每步需计算注意力并采样下一个token。关键挑战包括显存占用大、延迟高。优化技术包括KV缓存、量化、蒸馏、批处理与投机解码。推理阶段通常分为预填充和解码两阶段，预填充计算密集，解码内存密集。高效推理是LLM落地的核心，vLLM、TensorRT-LLM等系统显著提升吞吐。
别名与相关写法
llm inference
相关术语
inference共现 26 篇
LLM 推理共现 14 篇
Speculative Decoding共现 3 篇
Local LLM Inference共现 3 篇
Inference Engine共现 2 篇
Quantization共现 2 篇
相关公司
相关资讯
GAAC 无损 KV 缓存压缩加速个人设备长上下文推理2026/10/30
Resin 开源：面向 LLM 推理引擎的原生调度器2026/10/27
研究对比 2:4 稀疏与量化：大模型推理该选哪一步2026/10/22
英伟达发布 Blackwell 架构 LLM 推理方案 Flare2026/10/21
苹果发布 RSI-Inference 评估自改进 LLM 推理智能体2026/10/18
苹果 MLX 框架结合 RDMA 实现 Mac Studio 分布式大模型推理2026/10/15
HybridInfer：热感知强化学习分层 LLM 推理路由2026/9/28