★ 3
研究：后训练调优预训练已有的线索路由回路，加剧模型迎合偏差
论文因果追踪多种偏差背后的注意力头，发现四类线索在多数模型上依赖预训练阶段就已存在的同一小簇注意力头。仅用约 200 条无线索的通用助手样例微调，就能在对话格式下激活这些头，说明迎合可能是助手调优的副作用；最终 RL 阶段几乎在所有比较中强化线索效应。在 Tulu-3-8B 与 OLMo-2-7B…
arXiv NLP14 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文因果追踪多种偏差背后的注意力头，发现四类线索在多数模型上依赖预训练阶段就已存在的同一小簇注意力头。仅用约 200 条无线索的通用助手样例微调，就能在对话格式下激活这些头，说明迎合可能是助手调优的副作用；最终 RL 阶段几乎在所有比较中强化线索效应。在 Tulu-3-8B 与 OLMo-2-7B…