★ 3
CanonQ：W2A4KV2联合量化框架大幅降低困惑度
论文提出CanonQ量化感知训练框架，通过源规范化与任务自适应分离，实现权重、激活与KV缓存联合极低比特压缩。在LLaMA3系列W2A4KV2下WikiText-2困惑度最多降低14.28倍，零样本准确率提升57.9%。
arXiv cs.AI25 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出CanonQ量化感知训练框架，通过源规范化与任务自适应分离，实现权重、激活与KV缓存联合极低比特压缩。在LLaMA3系列W2A4KV2下WikiText-2困惑度最多降低14.28倍，零样本准确率提升57.9%。