技术
AWQ（激活感知权重量化）
AWQ（Activation-aware Weight Quantization）是一种权重量化方法，通过保护对激活重要的权重来减少量化误差，解决大模型部署中的内存和计算问题。典型应用于LLM的低比特量化。
详细解释
AWQ观察到权重的重要性取决于激活分布，而非权重本身。它通过分析激活值，识别重要权重通道，并对其进行保护（如保留高精度），其余权重则量化到低比特。AWQ无需反向传播，量化速度快，且能保持模型性能。在LLM中，AWQ可实现4比特量化，大幅减少内存占用，同时保持高准确率，已集成到TensorRT-LLM等推理框架。
别名与相关写法
awq
相关术语
GPTQ共现 1 篇
相关资讯
GGUF、GPTQ、AWQ、EXL2 模型格式解析2026/9/19