技术
PPO（近端策略优化）
PPO（近端策略优化）是一种强化学习算法，通过限制策略更新幅度来稳定训练，解决策略梯度方法中步长难以选择的问题。它是OpenAI默认的RL算法，在游戏、机器人控制和RLHF中广泛应用。
详细解释
PPO由OpenAI于2017年提出，属于策略梯度方法，通过裁剪重要性采样比率或添加KL惩罚项，确保新策略与旧策略差异不大，从而避免训练崩溃。PPO在Atari、MuJoCo等基准上表现优异，并成为ChatGPT等大模型人类反馈强化学习（RLHF）的首选算法。其变体包括PPO-Clip和PPO-Penalty。
别名与相关写法
ppoPPO近端策略优化Proximal Policy Optimization
相关术语
相关公司
相关资讯
Anthropic 三步「与前沿同步」计划获多方支持2026/9/14
谷歌、Anthropic 等支持新的 AI 爬虫退出标准2026/11/2
特朗普政府支持OpenAI版权诉讼立场2026/9/3
美国民主党议员提决议反对为大型科技公司 AI 泡沫兜底2026/10/30
MindEth-Bench：评估中文语境 LLM 心理支持伦理边界2026/10/30
Sam Altman 称对 MBA 学生长期失望，建议年轻求职者拥抱 AI 变革2026/10/29
CVS 机器人客服激怒用户，社媒投诉成唯一出路2026/10/28
微软宣布年内终止 Copilot 智能电视端支持2026/10/29