技术
RL post-training（强化学习后训练）
RL后训练是在预训练模型基础上使用强化学习进一步优化模型行为的技术，解决模型输出与人类偏好对齐的问题，典型应用包括ChatGPT的RLHF和Anthropic的Constitutional AI。
详细解释
RL后训练通常指基于人类反馈的强化学习（RLHF），包括收集人类偏好数据、训练奖励模型、用PPO等算法微调语言模型。它使模型生成更符合人类价值观、更有帮助且无害的回答。除了RLHF，还有直接偏好优化（DPO）等方法。RL后训练是大模型对齐的关键步骤，显著提升对话质量和安全性。
别名与相关写法
rl post-training