★ 2
GRAFT：基于轨迹图的智能体强化学习步级优势估计
针对GRPO等组式强化学习在步级优势估计上存在系统性偏差的问题，论文提出GRAFT框架，将多条rollout轨迹拼接为轨迹图，通过图上的Bellman迭代恢复节点状态值，并以节点值差为每条边分配信用。作者进一步提出Graph GAE以降低状态值估计偏差。在多轮智能体基准上，GRAFT稳定优于GRP…
arXiv cs.AI38 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对GRPO等组式强化学习在步级优势估计上存在系统性偏差的问题，论文提出GRAFT框架，将多条rollout轨迹拼接为轨迹图，通过图上的Bellman迭代恢复节点状态值，并以节点值差为每条边分配信用。作者进一步提出Graph GAE以降低状态值估计偏差。在多轮智能体基准上，GRAFT稳定优于GRP…