技术
On-Device Inference（端侧推理）
端侧推理指在本地设备上运行AI模型，解决云端推理的延迟、隐私和带宽问题，典型应用包括手机语音助手和智能摄像头，代表工作有TensorFlow Lite和Core ML。
详细解释
背景：云端推理依赖网络，存在延迟高、隐私泄露风险，且带宽成本大。技术说明：端侧推理通过模型压缩（量化、剪枝、知识蒸馏）和硬件加速（NPU、DSP）实现高效计算。框架如TensorFlow Lite、PyTorch Mobile和Core ML支持模型转换与优化。挑战包括设备资源限制和模型更新。
别名与相关写法
on-device inference