On-device LLM（端侧大语言模型）

端侧大语言模型指在资源受限的设备上部署和运行的大语言模型，通常通过模型压缩（量化、剪枝、知识蒸馏）、高效架构（MoE、稀疏注意力）和硬件加速（NPU）实现。其优势包括低延迟、数据隐私保护、离线可用和个性化。挑战在于内存、算力和能耗限制。近年来，随着模型小型化技术发展，端侧LLM成为趋势，如Qualcomm、MediaTek等芯片支持端侧AI。