GPI（广义策略迭代）

广义策略迭代（Generalized Policy Iteration）由 Sutton 和 Barto 提出，描述了一类强化学习算法的共同结构。它不要求策略评估和策略改进完全收敛，而是让两者交互进行，最终收敛到最优策略。策略迭代和值迭代都是 GPI 的特例。GPI 的核心思想是让策略朝着价值函数的方向改进，同时价值函数又朝着策略的方向更新。这一框架为理解动态规划、时序差分学习和 Actor-Critic 方法提供了统一视角。