★ 2
arXiv 论文提出 ResCom 激活残差补偿提升大模型低比特量化精度
ResCom 是一种低秩校正方法，利用激活舍入残差补偿层输出误差，通过输出感知校准闭式求解，无需梯度训练。在 Llama-3-8B 的 4 比特权重与激活下，WikiText-2 困惑度从 7.708 降至 7.147，MMLU 提升 2.89 个百分点，GSM8K 五样本准确率从 23.96% …
arXiv cs.LG5 天前
#Llama-3
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
arXiv 论文修复 Llama-3/Qwen3 分词器尼泊尔语切分缺陷
研究发现 Llama-3、Qwen3 等开源模型预分词正则仅接受 Unicode 字母，导致天城文元音符号处被切断，尼泊尔语 token 消耗为英文的 2.6 至 5.8 倍。作者对正则做小幅修改并新增 3.2 万次合并，使尼泊尔语 token 降至英文的 1.01 倍，并开源分词器与代码。
arXiv NLP6 天前