RLHF（基于人类反馈的强化学习）

RLHF分三步：1）预训练语言模型；2）收集人类对模型输出的排序数据，训练奖励模型；3）用PPO等强化学习算法优化策略模型，最大化奖励。它解决了传统监督微调难以捕捉复杂人类偏好的问题，使模型输出更安全、有用、诚实。技术挑战包括奖励黑客和训练稳定性。代表工作有OpenAI的InstructGPT、Anthropic的Constitutional AI。