技术
AI Inference（AI 推理）
AI推理指训练好的模型对新输入进行预测或决策的过程，解决模型落地应用的问题。典型应用包括图像识别、语音助手和推荐系统，代表工作如TensorFlow Serving、ONNX Runtime等推理引擎。
详细解释
AI推理是机器学习模型部署后的核心阶段，与训练不同，它只进行前向计算，不更新权重。其挑战在于延迟、吞吐量和能耗的平衡，尤其在边缘设备上。技术包括模型量化、剪枝、知识蒸馏等优化方法，以及专用硬件如GPU、TPU和NPU。推理框架如TensorRT、OpenVINO和ONNX Runtime提供跨平台加速。应用场景涵盖自动驾驶、医疗影像分析和实时翻译，是AI商业化的关键环节。
别名与相关写法
ai inference
相关术语
inference共现 7 篇
Inference Engine共现 1 篇
相关资讯
OpenAI自研推理芯片Jalapeño亮相2026/8/25
FlashRT-PAI：物理 AI 推理快内核不等于快流水线2026/10/20
MaaS场景下AI推理自动优化闭环2026/9/19
LLM-D 1.0 发布，将开源 Kubernetes AI 推理推向生产环境2026/10/22
TezGrid：利用闲置电脑做AI推理2026/10/15
Jinfer：面向 JVM 的 AI 推理引擎2026/9/15
Show HN：去中心化 AI 推理网络 rootmode.ai 上线2026/10/22