策略优化

策略优化研究如何参数化并改进智能体的行为策略。经典方法包括策略梯度、REINFORCE、Actor-Critic以及信赖域类的TRPO和PPO，后者通过裁剪重要性采样比率实现稳定更新。其理论关注梯度估计方差、探索与利用的平衡及收敛性。深度策略优化已成功应用于游戏、机器人控制和大模型对齐（如RLHF），是连接强化学习与生成模型的重要桥梁。