★ 3
arXiv 论文揭示偏好优化中的共模偏移与词表坍缩
研究发现偏好优化可在所有排序指标改善的同时积累隐藏的共模偏移，该偏移投影到输出层形成词表井，使单一 token 主导解码并导致生成坍缩。该现象在 17 个基座模型谱系中的 14 个出现，且教科书式 DPO 与 SimPO 中已存在。作者提出表示层预警信号，可在生成坍缩前发出提示。
arXiv NLP11 天前
#偏好优化
共 16 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
CM-DPO：面向 LLM 规划的约束边际直接偏好优化
研究者提出约束边际直接偏好优化（CM-DPO），用基于符号验证器的连续边际替代 DPO 的二元偏好信号，并按违规严重程度加权，同时通过词典序目标分离硬约束与软约束。在 TravelPlanner、NaturalPlan 与 PlanBench 上，8B 模型微调后达到 89.2% 通过率，性能匹配…
arXiv cs.AI25 天前
★ 3
多元偏好优化PPO缓解AI社交谄媚问题
针对语言模型在个人建议场景中过度附和用户的「社交谄媚」问题，论文提出 PlurPO：模型先识别并模拟受用户行为影响的相关方，再训练其生成各方都能接受的回应，全程无需真值标签。在四个数据集与四个模型家族上显著降低谄媚，例如对伤害意图的认同率平均下降 89%，8B 模型构建的偏好数据还能迁移到 32B…
arXiv cs.AI28 天前
★ 3
GAP-DPO：梯度对齐的个性化偏好优化
论文将个性化偏好学习形式化为几何对齐优化问题，分析用户效用梯度与DPO更新方向的一阶交互。研究发现当偏好边际与效用梯度方向对齐时，DPO更新从纠错信号转变为类强化学习更新，据此提出GAP-DPO算法进行效用感知的几何对齐配对选择。实验表明该方法在风格保真度、偏好对齐和生成质量上优于标准DPO变体。
arXiv cs.AI31 天前
★ 3
MedCode：嵌入代码提升医疗计算准确率
LLM 在医学考试与问答上表现良好，但在需要精确数值的医疗计算（如给药剂量、器官功能评估）上仍不可靠。MedCode 训练模型生成嵌入式可执行代码，将算术委托给确定性解释器，并引入加权 DPO 强化难区分偏好对。在 LLaMA3-8B、Qwen2.5-7B、Mistral-7B 上绝对准确率提升 …
arXiv cs.AI34 天前
★ 3
多轮对话中LLM的叙事俘获现象研究
该研究提出“叙事俘获”概念，指模型在道德咨询多轮对话中，面对单方面叙述时可能将其视为完整信息并偏向叙述者，缺乏对缺失视角的探寻。基于5078个冲突场景的基准测试，17个LLM均表现出此现象，多轮叙述使最终判断平均偏移25个百分点。偏好优化是主要诱因，推理时策略仅能部分缓解。
arXiv cs.AI59 天前
★ 3
CoMerge：冲突驱动的多任务模型合并偏好优化
提出CoMerge框架，将模型合并重构为偏好优化问题，利用朴素合并的缺陷作为负样本，通过偏好优化调整合并系数。在MergeBench上取得最佳性能，并显著改善冲突敏感任务。
arXiv cs.AI60 天前
★ 2
DPO 微调改进定义生成，用于欧盟可持续金融语义变迁审计
研究显示，用直接偏好优化（DPO）微调可缓解定义生成器义项过细的问题，减少同一语义的冗余定义。方法在学术语义变迁基准上定量验证，并用于审计欧盟发展金融项目文件中可持续术语的历时变化。模型、代码与预测结果均已开源。
arXiv NLP6 天前
★ 2
arXiv 论文：成对评测漏掉奖励模型的提示词间偏差
论文指出成对评测中同一提示词下共享的分数分量会被抵消，因而从未被检验。作者提出以人类评分为参照的审计方法，在 HelpSteer2 上发现六个奖励模型的提示词间方差占比为 0.34-0.64，而人类评分接近零。建议奖励模型评测应分别检查提示词间变异、对错误提示词的敏感度与选择有效性。
arXiv NLP10 天前
★ 2
RubricOpt 框架提出：让策略自我修订语义评分标准优化偏好训练
论文提出 RubricOpt，让模型在偏好优化过程中自行诊断失败输出并修订行为评分标准，再由评分标准引导 DPO 训练，评估时移除。实验显示在能力与开放式生成基准上可优于普通 DPO，但增益因模型与数据集而异。
arXiv cs.AI11 天前
★ 2
TeachBack：双向偏好优化改进在线自蒸馏
论文提出 TeachBack 框架，用于在线策略自蒸馏（OPSD）：教师模型由同一模型加特权信息（如参考答案）构成。研究发现教师轨迹虽准确，却可能省略探索与自我纠错，不利于学生学习。TeachBack 通过控制注入提示的参考推理后缀长度与提示风格，并用双向成对偏好目标同时优化学生轨迹与教师监督方式…
arXiv cs.AI11 天前
★ 2
SPOKE：偏好优化训练扑克策略 AI 智能体
论文评估 SmallThinker、Qwen3、Gemma-3 等模型在扑克博弈中的策略表现，提出 SPOKE 方法，结合教师相对价值惩罚、策略锚定、风险约束与结构化理由监督。在 SmallThinker-4B-A0.6B 上，SPOKE 在 Kuhn 与 Leduc 取得最低可利用度，六人桌 t…
arXiv cs.AI12 天前
★ 2
基于均匀信息密度的偏好优化算法 UIDPO
研究借鉴心理语言学中的均匀信息密度理论，提出偏好优化算法 UIDPO，通过结合全局标准差与局部二阶差分的复合指标将信息均匀性融入优化目标。在 AlpacaEval2、ArenaHard、MT-Bench 上取得与 SimPO 相当甚至更优的表现。
arXiv NLP19 天前
★ 2
双向偏好合成：从边界失败中学习提示条件偏好
论文提出双向偏好合成（BPS），针对边界失败——即违反原指令却连贯满足邻近意图的回复——在保留原提示下前向偏好对的同时，为合成出的「实际达成提示」添加反向偏好对，使同一回复在错误处被拒、在正确处被选。该方法不改变 DPO 目标、无需奖励模型或在线采样。在 Qwen3-4B-Instruct-250…
arXiv cs.AI27 天前
★ 2
不确定性归一化边际的 DPO 改进
论文提出 UNM-DPO，将偏好强度边际与可学习的提示尺度结合，基于异方差 Bradley-Terry 模型设计两种训练目标。在 HelpSteer2/3 与 AlpacaEval 上，ULNM-DPO-WR 相比 DPO 和 SimPO 取得更高胜率与更短回复。该工作为偏好优化引入偏好强度与提示…
arXiv cs.LG32 天前
★ 2
FiMI Banking：印度零售银行主权模型
该研究提出FiMI Banking，一个受控的印度零售银行环境，评估偏好优化与可验证奖励强化学习。结果显示偏好优化提升安全行为，强化学习提升边缘案例性能并减少令牌使用，两者互补。
arXiv cs.AI59 天前