技术
Post-Training Quantization(训练后量化)
训练后量化是一种模型压缩技术,在模型训练完成后将权重和激活从浮点数量化为低比特整数,以减少模型大小和加速推理,典型应用于移动端和边缘设备部署。
详细解释
训练后量化(PTQ)无需重新训练或微调,直接对预训练模型进行量化。它通过校准数据集统计激活分布,确定量化参数(如缩放因子和零点),将FP32转换为INT8等低精度格式。背景是深度学习模型庞大,难以部署在资源受限设备。技术说明包括:分为动态量化和静态量化,静态量化需要校准步骤;可能引入精度损失,但通过量化感知训练可缓解。典型工作有TensorFlow Lite的PTQ和ONNX Runtime的量化工具。
别名与相关写法
post-training quantization
相关术语
Post-training共现 2 篇
Quantization共现 2 篇
相关资讯
MPQ 提出消息传递视角的训练后量化方法2026/10/26
自回归天气模型训练后量化研究2026/10/5