#梯度对齐

GAP-DPO：梯度对齐的个性化偏好优化

论文将个性化偏好学习形式化为几何对齐优化问题，分析用户效用梯度与DPO更新方向的一阶交互。研究发现当偏好边际与效用梯度方向对齐时，DPO更新从纠错信号转变为类强化学习更新，据此提出GAP-DPO算法进行效用感知的几何对齐配对选择。实验表明该方法在风格保真度、偏好对齐和生成质量上优于标准DPO变体。