技术
edge inference(边缘推理)
边缘推理指在手机、摄像头、传感器等终端设备上直接运行AI模型,而非将数据上传云端。它解决网络延迟、带宽成本和隐私泄露问题,典型应用包括人脸解锁、自动驾驶实时感知和工业质检。
详细解释
边缘推理的兴起源于物联网和实时AI需求。传统云端推理受限于网络延迟和带宽,且数据上传存在隐私风险。技术上,通过模型压缩(剪枝、量化)、知识蒸馏和专用硬件(NPU、TPU)实现高效推理。代表工作有TensorFlow Lite、ONNX Runtime和NVIDIA Jetson平台。
别名与相关写法
edge inference
相关术语
Transformer共现 1 篇
inference共现 1 篇