★ 3
研究：量化模型校准增益可在不同表示间复用
论文研究同一预训练模型不同表示之间能否复用尺度校准学到的更新，方法为提取正向分组增益并直接写入接收方权重或原生量化尺度，无需接收方优化，且保持整数编码、零点与存储布局不变。在 Qwen3-1.7B 浮点/GPTQ INT3 组合上，双向迁移保留 76.9%–90.5% 的文本损失改善；打乱增益分组…
arXiv cs.LG14 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文研究同一预训练模型不同表示之间能否复用尺度校准学到的更新，方法为提取正向分组增益并直接写入接收方权重或原生量化尺度，无需接收方优化，且保持整数编码、零点与存储布局不变。在 Qwen3-1.7B 浮点/GPTQ INT3 组合上，双向迁移保留 76.9%–90.5% 的文本损失改善；打乱增益分组…