arXiv cs.AI阿里巴巴·60 天前★ 3

Qwen3-4B训练后三值化：能力、有效位预算与部署

原文标题：Post-Training Ternarization of Qwen3-4B Capability, Effective Bit Budget, Storage Compression, and Deployment

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

研究对Qwen3-4B进行端到端训练后转换，使用KOTMS旋转、E2M-ATQ三值化和GPTQ式误差补偿。最终每权重有效位1.641，准确率从64.5%降至54.7%，困惑度上升。打包运行将模型大小从8.29 GiB减至3.96 GiB，但未端到端基准测试，初步微基准显示比FP16慢4.6倍。

论文速读 · 四段结构cs.LG去论文速读 →

问题: 标称1.58位的超低比特模型实际存储、能力保留与运行表现缺乏完整刻画。
方法: 对Qwen3-4B做端到端训练后三值化，用KOTMS旋转、E2M-ATQ三值化与GPTQ式误差补偿，仅量化权重、激活保持16位。
结果: 每权重有效位1.641，十项能力平均准确率从64.5%降至54.7%，WikiText-2困惑度13.639升至18.748；打包后模型从8.29 GiB减至3.96 GiB，初步微基准比FP16慢4.6倍。
影响: 量化收益与代价被完整摊开：省一半存储却掉约10个点准确率且推理更慢，部署前需重新评估低比特方案。