★ 3
研究提出 leverage 指标量化权重更新对模型行为的实际影响
论文提出 leverage 指标，用 Fisher 二次型衡量单位权重变化带来的行为改变，并对比预训练、SFT、RL 与 DPO 各阶段。结果显示预训练更新近似噪声，SFT 与 DPO 的 leverage 高出数个数量级；训练精度（bf16 无 fp32 主副本）会显著降低 leverage。
arXiv cs.LG3 天前
#DPO
共 15 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究发布豪萨语安全偏好数据集 HausaSafeLM，评估 SFT 与 DPO 对齐效果
论文针对西非逾 2 亿人使用的豪萨语，基于 PKU-SafeRLHF 构建 1 万条提示的 HausaSafeLM 安全偏好数据集（3000 条人工校正、7000 条机器翻译）。在 Qwen2.5-7B-Instruct 上比较 SFT 与 SFT+DPO，发现基座模型高拒答率实为生成能力不足；D…
arXiv NLP5 天前
★ 3
研究揭示后训练如何塑造 LLM 价值偏好
研究者用不同观点配比的后训练语料，基于 SFT、DPO、GRPO 的五条后训练路径做受控实验，发现后训练会以不同方式放大观点失衡。价值偏好一旦被放大，能否被后续训练消除取决于方法与语料配比，且会通过蒸馏迁移到学生模型。作者建议在开发与评估 LLM 时同时考虑语料观点配比与后训练方法。
arXiv NLP6 天前
★ 3
生成式奖励模型扩展规律研究：评判准确率不等于优化效果
论文在创意写作策略优化中比较生成式奖励模型（GenRM）的不同训练方式，覆盖 Qwen3 0.6B 至 14B 规模。静态金标准确率更高的 Thinking 评判器，在在线 DPO 训练中常被 Answer-Only 奖励器反超。研究提出「评估者—奖励者差距」：固定分布上的评判准确率无法决定下游优…
arXiv cs.AI10 天前
★ 3
研究发现失败反馈反使小模型重复错误走法
论文在推箱子、四子棋、黑白棋中测试 LLM 智能体失败反馈的效果。汇总 8 个指令微调模型（135M-1.7B）后发现，把失败走法写入记录反而提高其重复概率，且主要经由走法表面形式、仅对非法走法生效。省略走法字符串的失败描述可保留模型原有偏好；OLMo 2 1B 训练链中该反转在 DPO 阶段基本…
arXiv cs.AI10 天前
★ 3
arXiv 论文揭示偏好优化中的共模偏移与词表坍缩
研究发现偏好优化可在所有排序指标改善的同时积累隐藏的共模偏移，该偏移投影到输出层形成词表井，使单一 token 主导解码并导致生成坍缩。该现象在 17 个基座模型谱系中的 14 个出现，且教科书式 DPO 与 SimPO 中已存在。作者提出表示层预警信号，可在生成坍缩前发出提示。
arXiv NLP11 天前
★ 3
All-in-One Memory：过程奖励强化学习优化记忆智能体
论文提出 AiO-Mem，将检索、记忆写入与停止决策统一到共享证据状态上的转移过程，并在统一奖励空间中评估每个动作的语义质量。方法用轨迹条件过程奖励模型打分，并通过 Process-Aligned DAPO 优化记忆策略。在长上下文记忆基准上持续提升答案准确率。
arXiv cs.AI17 天前
★ 3
CM-DPO：面向 LLM 规划的约束边际直接偏好优化
研究者提出约束边际直接偏好优化（CM-DPO），用基于符号验证器的连续边际替代 DPO 的二元偏好信号，并按违规严重程度加权，同时通过词典序目标分离硬约束与软约束。在 TravelPlanner、NaturalPlan 与 PlanBench 上，8B 模型微调后达到 89.2% 通过率，性能匹配…
arXiv cs.AI25 天前
★ 3
GAP-DPO：梯度对齐的个性化偏好优化
论文将个性化偏好学习形式化为几何对齐优化问题，分析用户效用梯度与DPO更新方向的一阶交互。研究发现当偏好边际与效用梯度方向对齐时，DPO更新从纠错信号转变为类强化学习更新，据此提出GAP-DPO算法进行效用感知的几何对齐配对选择。实验表明该方法在风格保真度、偏好对齐和生成质量上优于标准DPO变体。
arXiv cs.AI31 天前
★ 2
DPO 微调改进定义生成，用于欧盟可持续金融语义变迁审计
研究显示，用直接偏好优化（DPO）微调可缓解定义生成器义项过细的问题，减少同一语义的冗余定义。方法在学术语义变迁基准上定量验证，并用于审计欧盟发展金融项目文件中可持续术语的历时变化。模型、代码与预测结果均已开源。
arXiv NLP6 天前
★ 2
综述：大模型人类反馈对齐的数学基础与算法设计
该文系统介绍大语言模型与人类意图、偏好和价值观对齐的数学基础与算法框架，涵盖监督微调 SFT、人类反馈强化学习 RLHF 与直接偏好优化 DPO。文章还从逆强化学习与离散选择模型角度阐释偏好学习的理论根源，以教程形式梳理前沿算法的优势与局限，并给出实践实现建议。
arXiv cs.LG7 天前
★ 2
RubricOpt 框架提出：让策略自我修订语义评分标准优化偏好训练
论文提出 RubricOpt，让模型在偏好优化过程中自行诊断失败输出并修订行为评分标准，再由评分标准引导 DPO 训练，评估时移除。实验显示在能力与开放式生成基准上可优于普通 DPO，但增益因模型与数据集而异。
arXiv cs.AI11 天前
★ 2
pFedDPO：基于 LoRA 适配器的个性化联邦偏好优化
论文提出 pFedDPO，让每个客户端在共享全局基础模型之上维护小型私有 LoRA 适配器，实现隐私保护下的语言模型对齐。基础模型每轮通过 FedAvg 同步，LoRA 适配器保留本地以捕捉客户端特定偏好。作者证明该分解将 FedDPO 界中的梯度多样性替换为更小的残余异质性。
arXiv cs.LG21 天前
★ 2
双向偏好合成：从边界失败中学习提示条件偏好
论文提出双向偏好合成（BPS），针对边界失败——即违反原指令却连贯满足邻近意图的回复——在保留原提示下前向偏好对的同时，为合成出的「实际达成提示」添加反向偏好对，使同一回复在错误处被拒、在正确处被选。该方法不改变 DPO 目标、无需奖励模型或在线采样。在 Qwen3-4B-Instruct-250…
arXiv cs.AI27 天前
★ 2
不确定性归一化边际的 DPO 改进
论文提出 UNM-DPO，将偏好强度边际与可学习的提示尺度结合，基于异方差 Bradley-Terry 模型设计两种训练目标。在 HelpSteer2/3 与 AlpacaEval 上，ULNM-DPO-WR 相比 DPO 和 SimPO 取得更高胜率与更短回复。该工作为偏好优化引入偏好强度与提示…
arXiv cs.LG32 天前