技术
Real-time Inference（实时推理）
Real-time Inference指模型在严格延迟约束下（通常毫秒级）完成预测，解决在线服务中即时响应的需求。它广泛应用于推荐、自动驾驶和语音助手，代表技术包括模型量化、剪枝和TensorRT等推理加速框架。
详细解释
实时推理要求模型在极短时间内处理输入并返回结果，通常延迟需低于100毫秒。挑战在于平衡精度与速度：大模型计算量大，难以满足实时性。常用技术包括模型压缩（量化、剪枝、知识蒸馏）、硬件加速（GPU、TPU、NPU）和推理引擎优化（TensorRT、ONNX Runtime）。典型应用有电商推荐、自动驾驶感知、实时翻译和语音交互。随着边缘计算兴起，端侧实时推理也成为研究热点。
别名与相关写法
real-time inference