技术
偏好优化
一种让语言模型输出更符合人类偏好（如有用、无害）的训练方法，通常基于人类反馈。
详细解释
偏好优化旨在使模型生成的内容与人类价值观对齐。常见方法包括基于人类反馈的强化学习（RLHF）和直接偏好优化（DPO）。RLHF 先训练奖励模型，再用强化学习微调；DPO 则直接利用偏好数据优化模型，简化流程。这些技术能提升模型的有用性、诚实性和安全性，是当前大模型对齐的核心手段。
别名与相关写法
偏好优化
相关术语
相关公司
相关资讯
arXiv 论文揭示偏好优化中的共模偏移与词表坍缩2026/10/22
CM-DPO：面向 LLM 规划的约束边际直接偏好优化2026/10/8
多元偏好优化PPO缓解AI社交谄媚问题2026/10/5
GAP-DPO：梯度对齐的个性化偏好优化2026/10/2
CoMerge：冲突驱动的多任务模型合并偏好优化2026/9/3
TeachBack：双向偏好优化改进在线自蒸馏2026/10/22
SPOKE：偏好优化训练扑克策略 AI 智能体2026/10/21
基于均匀信息密度的偏好优化算法 UIDPO2026/10/14