Model Quantization

深度学习模型通常以32位浮点数存储权重和激活值，部署到手机、边缘设备时显存和算力吃紧。量化将权重或激活映射到8位、4位甚至更低整数，配合缩放因子和零点还原数值，可分为训练后量化与量化感知训练。它能显著降低内存占用、提升推理速度，但过度量化会带来精度损失，需要在压缩率与效果间权衡。