★ 3
将后训练三值化扩展至Qwen3-8B：能力保持与打包执行
论文将激进的后训练三值化流程从 Qwen3-4B 扩展到 Qwen3-8B，采用 KOTMS 旋转、E2M-ATQ 自适应三值化与 GPTQ 式误差补偿。8B 模型在三语料困惑度比为 1.361 倍，八项零样本任务平均准确率 64.6%（FP16 为 72.4%），机会校正后保留率 78.5%。打…
arXiv cs.LG53 天前
#三值化
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Qwen3-4B训练后三值化：能力、有效位预算与部署
研究对Qwen3-4B进行端到端训练后转换，使用KOTMS旋转、E2M-ATQ三值化和GPTQ式误差补偿。最终每权重有效位1.641，准确率从64.5%降至54.7%，困惑度上升。打包运行将模型大小从8.29 GiB减至3.96 GiB，但未端到端基准测试，初步微基准显示比FP16慢4.6倍。
arXiv cs.AI60 天前
这个主题的相关资产
相关公司阿里巴巴2