Policy Gradient（策略梯度）

策略梯度方法通过梯度上升更新策略参数，目标函数为期望回报。其核心是策略梯度定理，将梯度表示为动作价值函数与策略梯度的乘积期望。为降低方差，常引入基线（如状态价值函数）和优势函数。典型算法包括REINFORCE（蒙特卡洛）、Actor-Critic（结合值函数）、PPO（信赖域约束）等。策略梯度适用于连续控制、机器人、游戏AI等场景，但存在高方差、样本效率低等问题。