★ 4
论文提出信念转变分叉的树状强化学习方法
树状展开为无评论家RLVR提供步级信用，但分叉位置决定收益。论文将分叉放置形式化为定位价值曲线枢轴，提出信念转移分叉：在连续信念分歧最大的步骤前分叉。三种实现无需步级监督，探针成本仅约1%数学步计算。在三个模型家族与两个领域上，该方法在数学与代码基准全面领先。
arXiv cs.AI50 天前
#信用分配
共 35 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
新方法用评分到代码归因改进强化学习信用分配
提出RCCA框架，将评分标准级功能反馈转化为代码局部优化信号，提升交互式Web应用生成质量。模型在MiniAppBench和ArtifactsBench上取得领先成绩。
arXiv cs.AI62 天前
★ 3
ReAPO 提出重试感知策略优化，提升 LLM 推理探索效率
论文将信用分配问题建模为随机最短路，据此对 GRPO 做简单改造得到 ReAPO，为失败轨迹分配额外生成预算，使成功重试获得强化而不奖励先前失败。在 Qwen3 与 OLMo-2（0.6B–4B）及八个数学科学推理基准上，ReAPO 首答表现优于 GRPO；Qwen3-0.6B 上以少 39% 与…
arXiv cs.LG10 天前
★ 3
误差截断事后蒸馏改进智能体强化学习
针对 GRPO 缺乏中间决策细粒度指导、事后技能蒸馏在错误动作后失配的问题，论文提出按轨迹结果与错误边界路由正负事后技能的方法：正技能强化成功路径与错误前决策，负技能针对关键错误，错误后缀仅由 GRPO 优化。实验显示任务表现具竞争力且信用分配更精细。
arXiv cs.AI12 天前
★ 3
执行后学习：基于动作特定信用的策略优化
论文提出「执行后学习」范式，将程序执行结果作为中间状态，支持同一策略的额外学习交互，并设计动作特定信用分配：初始动作取最终轨迹结果信用，纠正动作取相对中间状态的改进信用。在 Image-to-TikZ 的 945 个留出样本上，单次调用渲染成功率达 92.70%，高于继续单阶段 GRPO 的 88…
arXiv cs.AI18 天前
★ 3
SOAR：面向搜索智能体的来源感知强化学习
针对搜索智能体常绕过外部信息、编造答案的「证据捏造」问题，研究者提出SOAR范式，通过来源感知工作流将外部与内部知识拆解为可观测的并行流，并引入来源一致性奖励实现精确信用分配。在3B与7B骨干上分别较基线提升7.3%与5.4%，证据捏造减少74.8%，在知识密集型基准上表现更忠实可靠。
arXiv NLP20 天前
★ 3
TreeHCA：多轮 LLM 智能体的后见探索与信用分配
论文提出 TreeHCA，将后见引导探索与后见信用分配结合，利用参考答案似然变化重访中间历史并采样替代续写，形成推理与工具交互树。作者推导相应的逆后见重要性修正，并用归一化树备份将终端结果传播为轮级优势。在七个问答基准、三个 Qwen 骨干上聚合精确匹配超越所有基线。
arXiv cs.LG20 天前
★ 3
SynAct：面向 LLM 智能体的协同主动反馈学习
论文提出 SynAct 主动学习框架，将专家注意力视为瓶颈，在单个决策层面分配反馈。它通过互信息对决策排序，在最高价值决策处询问专家，并将修正蒸馏为可迁移规则。在四个智能体基准、三个模型家族的 16 个设置中平均提升 11.7 个百分点。
arXiv cs.LG20 天前
★ 3
AGAR：将LLM程序进化形式化为强化学习基底
论文提出AGAR，把LLM程序进化写成马尔可夫决策过程，动作是模型所条件的模块化前缀而非其输出程序。信用分配、价值估计、自适应探索与经验记忆可分别挂载，在19个任务上多数优于两个已发表基线。
arXiv cs.AI24 天前
★ 3
研究提出长程工具调用智能体的比较价值估计方法
论文指出长程工具调用中，最终结果奖励对中间决策的信用分配较弱，而步级监督往往依赖人工或额外采样。为此提出 CITA，训练比较推理模型 CIM，从工具行为、贝叶斯工具图模拟器监督与 LLM 比较判断中学习，估计候选工具调用对任务成功的价值。在三个工具使用基准与多个基座模型上，CITA 持续提升 To…
arXiv cs.AI27 天前
★ 3
T2SPO：面向智能体强化学习的轨迹到步策略优化
论文提出Trajectory-to-Step Policy Optimization（T2SPO），利用历史交互轨迹为策略学习提供步级反馈，通过预训练TabPFN回归器估计每个状态到成功的剩余距离，其变化量作为辅助信用分配。在ALFWorld和WebShop上，1.5B与7B模型的任务成功率均持续…
arXiv cs.LG30 天前
★ 3
DACA-GRPO：扩散语言模型强化学习的去噪感知信用分配
研究指出扩散大语言模型 RL 训练中缺乏跨去噪轨迹的时间信用分配，且平均场似然估计存在偏差。为此提出 DACA-GRPO，一种可插拔的轻量增强方法，适用于任意 GRPO 风格训练器。
Apple Machine Learning Research47 天前
★ 3
ReCAST：扩散模型奖励的时间步信用分配
多奖励扩散模型训练需区分用户偏好与奖励信息量。论文提出ReCAST，首个按奖励、按时间步进行信用分配的方法，通过奖励-时间步权重矩阵在边际约束下依据Rényi可判别性增益分配权重。在SD3.5-Medium上训练，改进或匹配训练奖励，并在所有留出评判器上提升。
arXiv cs.LG47 天前
★ 3
GACA：长程 LLM 智能体信用分配
论文提出 GACA，一种无评论家的估计器，其信用分配粒度随基于不确定性的关键性代理自适应变化。它按每步负对数似然混合步级与回合级优势，在 ALFWorld 与 WebShop 上于 1.5B 和 7B 规模均优于 GRPO 与 GiGPO。
arXiv cs.LG48 天前
★ 3
研究多Harness强化学习在编程智能体中的信用分配与可移植性
研究隔离多环境强化学习中的分组规则，在代码生成任务中对比组内与跨组GRPO。发现评估环境主导性能，分组规则影响微弱，跨组信用分配仅带来配置适应而非能力提升。
arXiv cs.AI55 天前
★ 3
PGPO：基于势引导的多轮智能体任务策略优化
论文提出PGPO算法，通过经验状态势估计实现跨轨迹信用传播，为多轮智能体任务提供细粒度步骤级信用分配。在ALFWorld和WebShop上表现优于近期方法，且训练开销可忽略。
arXiv cs.AI59 天前
★ 3
CHIME：长周期智能体规划的信用感知分层记忆演化
CHIME是一种自演化记忆框架，通过分离规划与执行记忆并采用属性优先原则，解决信用分配问题。实验表明其在多个长周期基准上优于现有方法，且记忆可跨模型迁移。
arXiv cs.AI59 天前
★ 2
研究提出相对动作信用学习帮助 PPO 逃离局部最优
arXiv 论文将 PPO 在长时程接触密集任务上的停滞归因于状态价值评论家缺乏动作区分能力。作者为 PPO 增加动作条件价值评论家，可在同一状态比较已执行动作与采样替代动作，并结合广义优势估计与探索噪声约束。实验显示扩展算法能在同等探索下完成 PPO 失败的精确插销任务。
arXiv cs.LG2 天前
★ 2
研究提出 SpatialPC，实现亚线性局部信用传播深度计算
论文证明局部学习规则的信用传播延迟源于通信几何而非深度：d 维常数密度下界为 Ω(N^{1/d})，并构造出达到该下界的有向无环图。作者在预测编码框架内实现 SpatialPC，用伴随预测动力学传播信用，在 MNIST 与 Fashion-MNIST 上分别达到 97.6% 与 88.1% 测试准…
arXiv cs.LG4 天前
★ 2
arXiv 论文提出 OVC 框架，改进多模态强化学习信用分配
该论文指出，RLVR 将单一响应级优势统一分配给所有 token，忽视了视觉观察与后续推理的不同作用。作者提出 Outcome-Conditioned Visual Credit（OVC）插件框架，将视觉关联度量与 token 级信用分配解耦，并通过相对视觉编码、结果条件证据校准与归一化信用分配三…
arXiv cs.AI6 天前
★ 2
arXiv 提出历史重参数化策略梯度降低方差
论文指出自回归序列模型的策略梯度固定条件历史，丢弃早期决策对后续分布的影响，造成稀疏奖励下的信用分配瓶颈。作者提出历史重参数化（HR）策略梯度，并推导最优 HR（OHR）中心化控制变量估计器。实验显示嵌入级松弛可随序列长度显著降方差，并在 TSP 等任务上验证。
arXiv cs.LG12 天前
★ 2
arXiv 提出 VCBM，用视觉因果链书签改进延迟奖励信用分配
论文提出 Visual Causal-chain Bookmarking（VCBM），把信用集中到决定回合回报的关键决策点。在延迟奖励修表任务中，VCBM 平均 1532 回合达到 95.07% 正确决策，明显快于 RUDDER 的 3327 回合；在 AppWorld 上用 Qwen2.5-7B…
arXiv cs.LG12 天前
★ 2
OpCredit：面向智能体知识图谱问答的操作感知策略学习
论文提出 OpCredit 操作感知策略学习框架，结合分支结果信用与前沿转移信用，评估轨迹中单个操作的贡献。在 ComplexWebQuestions、WebQSP、GrailQA 三个数据集与三种骨干模型上均取得一致性能提升。
arXiv NLP16 天前
★ 2
ForkGRPO：扩散语言模型的高效探索与细粒度信用分配
论文提出 ForkGRPO，一种面向扩散大语言模型（dLLM）的强化学习框架，通过从高熵中间状态采样多条续写路径，并结合段级信用分配来提升推理能力。该方法在四个基准中的三个取得最优表现，相比 JustGRPO 提升最多 1.2 个百分点，生成 token 减少最多 27.8%。ForkGRPO-F…
arXiv NLP17 天前
★ 2
arXiv 论文：CCPO 上下文信用策略优化
论文提出 CCPO 方法，通过上下文相似度加权观测匹配样本，并结合历史信用与未来信用为长程任务中的每一步分配信用。在 Qwen2.5-Instruct 1.5B 与 7B 上，ALFWorld 成功率最高 97.4%，WebShop 达 79.4%，较 GRPO 提升最多 21.6 与 18.5 …
arXiv cs.LG17 天前
★ 2
PEARL：面向多轮智能体的过程经验感知强化学习
论文提出 PEARL，在无需额外评论家网络的情况下改进局部信用分配。方法通过定位同一历史两条不同结果轨迹的首次分歧，构建局部决策特征并在近期失败与成功记忆中聚类，识别反复出现的决策模式，从而选择性强化低回报决策的负优势。在 AppWorld 与 ALFWorld 上均优于基线，ALFWorld 4…
arXiv cs.AI18 天前
★ 2
最小见证强化学习 MWRL 提出
论文将「找出充分产生结果的最小条件」形式化为最小见证识别问题，并提出最小见证强化学习（MWRL）。MWRL 通过信用分配机制，从单一黑盒验证器比特中同时满足最小性与多解恢复的需求，并推导出值迭代规划器与可扩展至大模型的策略梯度方法。实验显示 MWRL 能恢复大多数最小见证，而其他方法只返回冗余超集…
arXiv cs.LG25 天前
★ 2
EvoSteer：在线自演化图编排
论文提出 EvoSteer，一种在线自演化图编排范式，让编排器在运行中修复失败步骤，并引入锚定轨迹平衡（AnchorTB）损失为每个编排动作分配系数。同时提出经验证的技能准入机制，候选技能需通过序贯检验才被提升。在十二个数据集上，该方法在问答、数学推理、代码生成与交互决策任务上显著优于基线。
arXiv cs.AI31 天前
★ 2
LW2S：多智能体 LLM 工作流的反事实信用分配
论文将多智能体 LLM 工作流中的组件省略问题形式化为反事实信用分配，提出 Learning What to Skip（LW2S）。该方法通过受控跳过干预学习动作级安全模型，结合留出校准与领域守卫选择跳过时机。在数学推理、选择题问答与代码生成任务上，LW2S 在保持或提升整体准确率的同时降低了 t…
arXiv cs.AI34 天前
★ 2
SLCA-GRPO：解决工具调用RL中的跨段信用错配
工具调用智能体输出混合了结构化工具调用与自然语言总结，GRPO将轨迹级标量优势广播到所有token，导致总结生成的梯度噪声污染工具决策token。论文提出SLCA-GRPO，在单组rollout内按结构段解耦优势估计，配合分层奖励将执行优势路由到工具token、偏好优势路由到总结token。在7B…
arXiv cs.AI37 天前