#奖励设计

共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。

★ 3

CRoS 用打乱思维链的因果奖励提升推理准确性与忠实度

论文指出 RLVR 仅依赖结果正确性无法保证思维链对答案有因果贡献，而现有因果度量通过删步骤或注入错误扰动会改变信息本身。作者提出 CRoS，仅打乱推理步骤顺序而不改变内容来度量因果性。在 Gemma-3-4B 上，CRoS 在域外准确率、思维链质量与忠实度上均优于现有因果与结果奖励。

arXiv NLP3 小时前

★ 3

辅助奖励自改进：用熵指标加权 Qwen3-1.7B 推理轨迹

论文研究辅助轨迹偏好能否提升小模型自改进，比较基于置信度与基于熵的 UID-Conj. 指标。在线实验中在 30 道 AIME 题上适配 Qwen3-1.7B，UID-Conj. 比原始 TTRL 宏平均提升 2.08 个百分点。离线加权 SFT 中比均匀加权高 1.93 分，95% 置信区间为 …

arXiv cs.AI3 小时前

★ 3

论文用可验证奖励强化学习训练Qwen3小型搜索智能体

研究将「推理-搜索」范式应用于十亿参数以下的小模型，用 GRPO 训练 Qwen3.5-0.8B 并接入维基百科搜索工具，在 MuSiQue 上仅改变奖励形状。最佳运行在七项问答基准上取得 0.352 平均精确匹配，较未训练基线提升 3.8 倍，且无需蒸馏。结果显示稀疏精确匹配奖励（数学与代码的 …

arXiv cs.AI38 天前

★ 2

GARDEN 用 LLM 自动设计可跨场景复用的多智能体奖励函数

论文提出 GARDEN，让 LLM 充当奖励工程师，通过考察环境代码、训练记录与智能体行为来编写奖励程序，并在试训练中检验草稿奖励。在 Overcooked 与 SMAX 未见场景上，任务回报分别提升 58.2% 与 52.5%，两个对战场景平均胜率从 51.0% 升至 89.9%。

arXiv cs.AI3 天前

★ 2

CONCUR：多任务多奖励强化学习的一致性辅助奖励方法

论文指出多任务强化学习中，组相对优势估计器会让被主奖励门控的辅助奖励（如长度奖励）反转主奖励排序。作者提出 CONCUR 优势估计器，用满足单调性与天花板等分条件的分数替换辅助奖励标准化分数。在数学、代码、指令遵循与写作任务上，两个变体平均表现均优于所有基线。

arXiv NLP5 天前