技术
Reward-DAG(奖励有向无环图)
Reward-DAG 是一种将复杂任务奖励分解为有向无环图(DAG)结构的方法,解决稀疏奖励和信用分配问题。典型应用包括机器人多步操作和游戏 AI,代表工作如分层强化学习中的奖励分解。
详细解释
在复杂任务中,奖励往往稀疏且难以直接分配。Reward-DAG 将任务分解为子目标,并用有向无环图表示子目标间的依赖关系,每个节点对应一个子奖励。智能体通过完成子目标获得中间奖励,从而加速学习。该结构支持模块化训练和组合泛化,常见于分层强化学习和多任务学习。代表工作包括基于选项的强化学习和奖励机(Reward Machine)。
别名与相关写法
reward-dag