技术
Low-bit（低比特量化）
低比特量化是指将神经网络中的权重和激活值从32位浮点数压缩至8位、4位甚至1位，从而大幅减少内存占用和计算开销，使大模型能在手机、嵌入式设备等资源受限环境中高效推理。典型代表包括1-bit的BitNet和4-bit的GPTQ。
详细解释
背景：随着大模型参数规模增长，存储和计算成本成为部署瓶颈。技术说明：量化通过将连续值映射到离散低比特表示来压缩模型，但会引入量化误差。常见方法包括训练后量化（PTQ）和量化感知训练（QAT）。PTQ如GPTQ利用二阶信息逐层量化；QAT在训练中模拟量化误差。极低比特如二值网络（BNN）用符号函数替代权重，但精度损失较大。近期BitNet等通过1.58比特三值权重在保持性能的同时显著降低能耗。
别名与相关写法
low-bit
相关术语
Quantization共现 3 篇
Language Model共现 2 篇
on-policy distillation共现 1 篇
Diffusion Transformer共现 1 篇
Large Language Models共现 1 篇
Model Quantization共现 1 篇
相关资讯
ProQuant：MoE 模型超低比特量化保专家质量2026/10/23
FidelityQ：超低位宽语言模型量化保持预测保真度2026/10/14
研究提出 Harness Compilation 优化小视觉语言模型分工2026/10/9
OnlineQAT：超低位宽 LLM 的在线策略蒸馏2026/10/8