Quantization-Aware Training

背景：模型部署到手机、边缘设备时常需把权重和激活从浮点压缩到8位甚至4位整数，但训练后直接量化会明显掉点。技术：QAT在训练前向传播中插入伪量化节点，模拟舍入与截断误差，反向传播用直通估计器绕过不可导的量化操作，使网络参数适应量化噪声。相比训练后量化，QAT精度更高但需重新训练，常用于对精度敏感的端侧模型。