★ 2
arXiv 论文提出 ResCom 激活残差补偿提升大模型低比特量化精度
ResCom 是一种低秩校正方法，利用激活舍入残差补偿层输出误差，通过输出感知校准闭式求解，无需梯度训练。在 Llama-3-8B 的 4 比特权重与激活下，WikiText-2 困惑度从 7.708 降至 7.147，MMLU 提升 2.89 个百分点，GSM8K 五样本准确率从 23.96% …
arXiv cs.LG5 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
ResCom 是一种低秩校正方法，利用激活舍入残差补偿层输出误差，通过输出感知校准闭式求解，无需梯度训练。在 Llama-3-8B 的 4 比特权重与激活下，WikiText-2 困惑度从 7.708 降至 7.147，MMLU 提升 2.89 个百分点，GSM8K 五样本准确率从 23.96% …