AI 事件专题★ 3

量化模型校准增益迁移

研究:量化模型校准增益可在不同表示间复用

10-19 12:00 首发·1 家媒体·1 篇报道·持续 1 天·学术研究
相关方:MMeta AI
事件综述

论文研究同一预训练模型不同表示之间能否复用尺度校准学到的更新,方法为提取正向分组增益并直接写入接收方权重或原生量化尺度,无需接收方优化,且保持整数编码、零点与存储布局不变。在 Qwen3-1.7B 浮点/ INT3 组合上,双向迁移保留 76.9%–90.5% 的文本损失改善;打乱增益分组则双方都变差,说明学到的分组归属在迁移后仍起作用。-3.2-3B 对照实验的跨装迁移保留 98.6%–99.3% 的校准收益。

各方报道 1 篇

arXiv cs.LG·10-19 12:00★ 3
研究:量化模型校准增益可在不同表示间复用

论文研究同一预训练模型不同表示之间能否复用尺度校准学到的更新,方法为提取正向分组增益并直接写入接收方权重或原生量化尺度,无需接收方优化,且保持整数编码、零点与存储布局不变。在 Qwen3-1.7B 浮点/ INT3 组合上,双向迁移保留 76.9%–90.5% 的文本损失改善;打乱增益分组则双方都变差,说明学到的分组归属在迁移后仍起作用。-3.2-3B 对照实验的跨装迁移保留 98.6%–99.3% 的校准收益。

原文

关联

量化模型校准增益迁移 最新进展 - 事件时间线 - 智讯 AI News