On-policy RL（同策略强化学习）

在On-policy RL中，行为策略和目标策略相同，即智能体根据当前策略选择动作并收集经验，然后立即用于更新策略。这保证了策略评估的准确性，但数据效率较低，因为旧数据无法重用。代表性算法如PPO通过重要性采样和裁剪机制实现稳定更新，TRPO则使用信任域约束。On-policy方法在需要稳定性和安全性的场景中表现良好，如机器人控制和自动驾驶。