各方报道 1 篇
arXiv NLP·10-28 12:00★ 3
研究：生态福利语料继续预训练可降低大模型高压下有害决策
原文 该论文构建真实数据「耦合福利」继续预训练语料，用一次 QLoRA CPT 安装到五个开源模型上。在逐步加压至关停威胁的测试中，五个模型有四个的有害决策降至接近零，Llama-3.3-70B 从 300 次中 70 次降至 0 次，且 MMLU 不变。对照语料无改善，说明效果来自语料内容本身。
该论文构建真实数据「耦合福利」继续预训练语料，用一次 QLoRA CPT 安装到五个开源模型上。在逐步加压至关停威胁的测试中，五个模型有四个的有害决策降至接近零，Llama-3.3-70B 从 300 次中 70 次降至 0 次，且 MMLU 不变。对照语料无改善，说明效果来自语料内容本身。