GPTQ（GPTQ 量化）

GPTQ（Generative Pre-trained Transformer Quantization）由Frantar等人于2022年提出，基于近似二阶信息进行逐层量化。它能在3-4比特下保持模型性能，大幅减少显存占用和推理成本。GPTQ已成为大模型部署的主流量化技术之一，支持多种硬件后端。