技术
Local Inference（本地推理）
本地推理指在用户设备上直接运行AI模型进行预测，无需将数据上传云端，解决隐私延迟和网络依赖问题。典型应用包括手机端语音助手、Llama.cpp在个人电脑运行大模型，以及苹果神经引擎的实时图像处理。
详细解释
本地推理依赖模型压缩与加速技术，如量化（将FP32转为INT8）、剪枝、知识蒸馏，以及专用硬件（NPU、GPU）。框架如TensorFlow Lite、ONNX Runtime、llama.cpp支持在边缘设备部署。优势是低延迟、数据隐私和离线可用，但受限于设备算力与内存，通常需牺牲部分精度或模型规模。随着端侧AI芯片发展，本地推理正成为隐私敏感场景的主流方案。
别名与相关写法
local inference