技术
Ternarization(三值化)
将神经网络权重和激活值量化为三值(-1, 0, 1)的模型压缩技术,大幅减少计算和存储。
详细解释
三值化是极端量化的一种,将权重限制为{-a, 0, a},其中 a 为缩放因子。相比二值化,它保留零值,表达能力更强。训练时通常先训练全精度模型,再通过阈值划分进行量化,并可能重新训练以恢复精度。该技术可显著加速推理(如使用位运算),适用于资源受限的嵌入式设备,但需处理精度下降问题。
别名与相关写法
ternarization
相关术语
Post-training共现 1 篇
相关公司
相关资讯
Qwen3-4B训练后三值化:能力、有效位预算与部署2026/9/3