技术

Inference Engine（推理引擎）

Inference Engine 是执行训练好的AI模型进行预测或决策的软件系统。

收录于 2026/9/15相关资讯 6 篇近 30 天 4 篇在词典中查看 →

详细解释

Inference Engine 负责将输入数据通过模型前向计算得到输出，常见于TensorRT、ONNX Runtime等。它针对不同硬件（CPU、GPU、NPU）优化，支持低延迟、高吞吐的推理。在边缘计算和云端部署中，推理引擎是实现AI应用落地的关键组件，需平衡速度、精度和功耗。

别名与相关写法

inference engine

相关术语

inference共现 6 篇

LLM Inference共现 1 篇

AI Inference共现 1 篇

Agent共现 1 篇

相关公司

深度求索（DeepSeek）1 篇

相关资讯

DeepSeek 开源推理引擎 DeepInfer2026/10/20

研究发布推理工程帕累托图谱，测54种Qwen2.5-7B配置2026/9/17

Resin 开源：面向 LLM 推理引擎的原生调度器2026/10/27

Magnitude：面向智能体的自优化推理引擎2026/10/1

MDMA 开源联邦式 LLM 推理引擎发布2026/10/13

Quail联合优化查询规划与推理引擎加速AI-SQL2026/9/30

Jinfer：面向 JVM 的 AI 推理引擎2026/9/15

个人开发者开源语义状态推断引擎 Fruth 0.1.92026/11/1

完整术语表见 AI 术语词典；每日新术语与进展见 AI 早报。