Direct Preference Optimization（直接偏好优化）

直接偏好优化（DPO）由斯坦福大学于2023年提出，它通过数学变换将强化学习中的奖励最大化问题转化为简单的分类损失，直接利用偏好数据（成对比较）优化语言模型。相比RLHF，DPO无需训练奖励模型和强化学习环节，训练更稳定、计算成本更低，已成为大模型对齐的主流方法之一。