★ 3
研究发现失败反馈反使小模型重复错误走法
论文在推箱子、四子棋、黑白棋中测试 LLM 智能体失败反馈的效果。汇总 8 个指令微调模型（135M-1.7B）后发现，把失败走法写入记录反而提高其重复概率，且主要经由走法表面形式、仅对非法走法生效。省略走法字符串的失败描述可保留模型原有偏好；OLMo 2 1B 训练链中该反转在 DPO 阶段基本…
arXiv cs.AI10 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文在推箱子、四子棋、黑白棋中测试 LLM 智能体失败反馈的效果。汇总 8 个指令微调模型（135M-1.7B）后发现，把失败走法写入记录反而提高其重复概率，且主要经由走法表面形式、仅对非法走法生效。省略走法字符串的失败描述可保留模型原有偏好；OLMo 2 1B 训练链中该反转在 DPO 阶段基本…