技术
on-device foundation model(端侧基础模型)
端侧基础模型指直接在手机、PC等终端设备上运行的大规模预训练模型,无需云端连接。它解决了隐私、延迟和网络依赖问题,典型应用包括苹果的Apple Intelligence和谷歌的Gemini Nano,实现本地化智能助手和实时翻译。
详细解释
端侧基础模型通过模型压缩、量化、知识蒸馏等技术,将大模型适配到资源受限设备。其优势在于数据不出本地,提升隐私安全;减少网络延迟,实现实时响应;降低云端推理成本。挑战包括算力、内存和能耗限制,以及模型性能与云端的差距。
别名与相关写法
on-device foundation model