★ 3
Q-PACE：量化感知训练动态精度分配
arXiv 论文提出 Q-PACE，用二阶敏感度模型预测量化噪声带来的损失增量，训练中周期性重算逐层曲率系数并重新分配精度。在最高 4B 参数 LLM 的预训练和监督微调中持续优于现有混合精度方案，在显著更低内存预算下达到相当损失。
arXiv cs.LG25 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
arXiv 论文提出 Q-PACE，用二阶敏感度模型预测量化噪声带来的损失增量，训练中周期性重算逐层曲率系数并重新分配精度。在最高 4B 参数 LLM 的预训练和监督微调中持续优于现有混合精度方案，在显著更低内存预算下达到相当损失。
论文提出CanonQ量化感知训练框架，通过源规范化与任务自适应分离，实现权重、激活与KV缓存联合极低比特压缩。在LLaMA3系列W2A4KV2下WikiText-2困惑度最多降低14.28倍，零样本准确率提升57.9%。