模型
Small Language Model（小语言模型）
小语言模型是参数量较少（通常小于10亿）的语言模型，旨在降低计算成本和能耗，同时保持可接受的性能，典型代表有DistilBERT、TinyBERT和ALBERT。
详细解释
随着大语言模型规模爆炸式增长，其部署成本和高延迟问题日益突出。小语言模型通过知识蒸馏、模型剪枝、量化等技术压缩模型规模，在特定任务上达到与大模型相近的性能。它们更适合边缘设备和实时应用，如移动端聊天机器人和嵌入式系统。代表性工作包括DistilBERT（蒸馏自BERT）、TinyBERT（两阶段蒸馏）和ALBERT（参数共享）。小模型也面临泛化能力有限的挑战。
别名与相关写法
small language modelSmall Language Model小语言模型SLM
相关术语
相关公司
相关资讯
Artifact Distillation：免训练把前沿模型能力迁移到小模型2026/10/30
新方法：用大模型迭代、用小模型部署，蒸馏生产行为至 SLM2026/10/14
小模型该不该掌舵？云端程序本地解释架构研究2026/10/14
微调 Qwen3.5 小模型语法标注超越 GPT-5.42026/10/9
研究：智能家居智能体多数调用无需前沿大模型2026/10/8
研究：现成小模型能否胜任智能体框架微任务2026/10/2
研究：小模型多智能体辩论靠认知多样性提升推理2026/9/30