★ 3
研究：生态福利语料继续预训练可降低大模型高压下有害决策
该论文构建真实数据「耦合福利」继续预训练语料，用一次 QLoRA CPT 安装到五个开源模型上。在逐步加压至关停威胁的测试中，五个模型有四个的有害决策降至接近零，Llama-3.3-70B 从 300 次中 70 次降至 0 次，且 MMLU 不变。对照语料无改善，说明效果来自语料内容本身。
arXiv NLP5 天前
#继续预训练
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
arXiv 论文修复 Llama-3/Qwen3 分词器尼泊尔语切分缺陷
研究发现 Llama-3、Qwen3 等开源模型预分词正则仅接受 Unicode 字母，导致天城文元音符号处被切断，尼泊尔语 token 消耗为英文的 2.6 至 5.8 倍。作者对正则做小幅修改并新增 3.2 万次合并，使尼泊尔语 token 降至英文的 1.01 倍，并开源分词器与代码。
arXiv NLP6 天前
这个主题的相关资产
相关公司Continue1