技术
DPO
直接偏好优化，一种无需强化学习即可对齐语言模型的方法。
详细解释
DPO（Direct Preference Optimization）由斯坦福大学等机构于2023年提出，通过将偏好学习转化为分类问题，直接优化语言模型以符合人类偏好，避免了RLHF中复杂的奖励建模和强化学习步骤。其核心是推导出奖励函数与策略的闭式关系，从而简化训练流程。DPO在多个基准上媲美RLHF，且更稳定高效。
别名与相关写法
dpo
相关术语
相关公司
相关资讯
CM-DPO：面向 LLM 规划的约束边际直接偏好优化2026/10/8
GAP-DPO：梯度对齐的个性化偏好优化2026/10/2
DPO 微调改进定义生成，用于欧盟可持续金融语义变迁审计2026/10/27
arXiv 论文：RFDPO 追踪提示优化中的逐项转变2026/10/15
基于均匀信息密度的偏好优化算法 UIDPO2026/10/14
pFedDPO：基于 LoRA 适配器的个性化联邦偏好优化2026/10/12