★ 3
Robust Nash Alignment：应对偏好不确定的对齐框架
论文提出鲁棒纳什对齐，一个面向不确定成对偏好的博弈论对齐框架，让学习者在对抗竞争者与偏好模糊集下最大化最差胜率。作者设计四玩家原对偶代理博弈与单循环乐观镜像下降-上升算法，证明 O(1/√T) 收敛并给出最差性能下界。
arXiv cs.AI31 天前
#偏好学习
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：从人类反馈中学习异质性偏好
从人类反馈学习已成训练现代 AI 的核心范式，但现有方法假设全群体共享统一效用函数，将标注者分歧视为随机噪声。论文研究主观偏好学习，基于理性选择理论提出以个体及其决策情境为条件的个体化效用函数，并用多模态数据估计。在 2398 名参与者、逾 57.5 万对汽车轮毂美学判断的新数据集上，个体化效用模…
arXiv cs.AI46 天前
★ 2
研究提出 PERPL 框架，按读者偏好个性化改写事实核查解释
论文提出「忠实个性化事实核查解释改写」任务，在不改变事实结论前提下适配不同读者。方法 PERPL 通过跨人格互配对从 LLM 模拟读者偏好中构建监督信号，再用探索引导的偏好优化训练轻量改写器。实验显示其在个性化偏好对齐上优于更大通用模型，并保持高事实忠实度。
arXiv NLP5 天前
★ 2
综述：大模型人类反馈对齐的数学基础与算法设计
该文系统介绍大语言模型与人类意图、偏好和价值观对齐的数学基础与算法框架，涵盖监督微调 SFT、人类反馈强化学习 RLHF 与直接偏好优化 DPO。文章还从逆强化学习与离散选择模型角度阐释偏好学习的理论根源，以教程形式梳理前沿算法的优势与局限，并给出实践实现建议。
arXiv cs.LG7 天前
★ 2
ID-TAP 用信息导向对决赌博机实现测试时人格个性化
论文研究以候选回复的二元比较为在线信号的 LLM 智能体人格选择问题，提出 ID-TAP 框架，结合查询条件神经效用模型与轻量 Bradley-Terry 探索器，并通过相似度加权热启动在相关查询间迁移比较证据。在七个用户条件生成基准上，固定十轮比较预算内 ID-TAP 取得最强综合表现。
arXiv cs.AI13 天前
★ 2
arXiv 提出 WAPA：多元对齐的福利感知偏好采集
论文研究如何在有限人类反馈下跨人群分配标注以构建多元对齐训练数据，定义基于个体监督效用的社会福利目标。WAPA 用辅助参考模型估计查询增益与个体效用，按边际福利增益选查询。实验显示优先指定群体时，仅采集 20% 人类标签即可恢复 75-86% 的效用差距。
arXiv cs.LG18 天前
★ 2
基于对决反馈的成本感知最优 LLM 识别
论文研究在查询成本异构的多个大语言模型中识别最优模型的问题，将其建模为带对决反馈与异构采样成本的多臂老虎机变体。在 Condorcet 胜者假设下，作者提出 Track-and-Stop 风格算法并证明其渐近最优成本，在合成与真实数据上均优于成本无关算法及其成本感知扩展。
arXiv cs.LG35 天前