模型量化

深度学习模型通常以32位浮点数存储权重，参数量大时占用显存和带宽很高。量化通过将权重、激活值映射到8位甚至4位整数，并配合缩放因子与零点偏移来近似原数值。常见做法包括训练后量化（PTQ）和量化感知训练（QAT），后者在训练中模拟量化误差以保持精度。量化广泛用于大模型端侧部署和推理加速，是模型压缩的关键技术之一。