Inference Framework

Inference Framework（推理框架）是部署AI模型时使用的软件栈，负责加载模型并执行前向计算。与训练框架不同，它专注于低延迟、高吞吐的推理场景，常采用图优化、算子融合、量化、动态批处理等技术。典型代表有TensorRT、ONNX Runtime、Triton Inference Server等，广泛应用于云端和边缘设备。