★ 3
CleanRM：用少量干净反馈校准噪声奖励建模
论文提出 CleanRM，针对偏好数据中样本级噪声问题，利用少量干净反馈通过最优传输校准每个样本的噪声比例，并用噪声校正代理损失训练奖励模型。理论上证明该目标对干净风险无偏，实验显示其优于现有去噪基线，并能提升下游 RLHF 对齐效果。
arXiv cs.AI17 天前
#RLHF
共 9 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Robust Nash Alignment：应对偏好不确定的对齐框架
论文提出鲁棒纳什对齐，一个面向不确定成对偏好的博弈论对齐框架，让学习者在对抗竞争者与偏好模糊集下最大化最差胜率。作者设计四玩家原对偶代理博弈与单循环乐观镜像下降-上升算法，证明 O(1/√T) 收敛并给出最差性能下界。
arXiv cs.AI31 天前
★ 3
研究：从人类反馈中学习异质性偏好
从人类反馈学习已成训练现代 AI 的核心范式，但现有方法假设全群体共享统一效用函数，将标注者分歧视为随机噪声。论文研究主观偏好学习，基于理性选择理论提出以个体及其决策情境为条件的个体化效用函数，并用多模态数据估计。在 2398 名参与者、逾 57.5 万对汽车轮毂美学判断的新数据集上，个体化效用模…
arXiv cs.AI46 天前
★ 2
综述：大模型人类反馈对齐的数学基础与算法设计
该文系统介绍大语言模型与人类意图、偏好和价值观对齐的数学基础与算法框架，涵盖监督微调 SFT、人类反馈强化学习 RLHF 与直接偏好优化 DPO。文章还从逆强化学习与离散选择模型角度阐释偏好学习的理论根源，以教程形式梳理前沿算法的优势与局限，并给出实践实现建议。
arXiv cs.LG7 天前
★ 2
arXiv 论文：成对评测漏掉奖励模型的提示词间偏差
论文指出成对评测中同一提示词下共享的分数分量会被抵消，因而从未被检验。作者提出以人类评分为参照的审计方法，在 HelpSteer2 上发现六个奖励模型的提示词间方差占比为 0.34-0.64，而人类评分接近零。建议奖励模型评测应分别检查提示词间变异、对错误提示词的敏感度与选择有效性。
arXiv NLP10 天前
★ 2
RL-IF 追踪在线强化学习跨轮次数据影响并提出 RINSE 过滤
论文将在线强化学习的数据归因形式化为轨迹级留一量 RL-LOO，并推导出一阶估计器 RL-IF，同时刻画优化效应与策略采样效应。基于此提出数据过滤方法 RINSE，在控制基准与 RLHF 式毒性缓解任务上优于标准 PPO 和局部归因基线。
arXiv cs.LG11 天前
★ 2
arXiv 提出 WAPA：多元对齐的福利感知偏好采集
论文研究如何在有限人类反馈下跨人群分配标注以构建多元对齐训练数据，定义基于个体监督效用的社会福利目标。WAPA 用辅助参考模型估计查询增益与个体效用，按边际福利增益选查询。实验显示优先指定群体时，仅采集 20% 人类标签即可恢复 75-86% 的效用差距。
arXiv cs.LG18 天前
★ 2
MatrixReward：基于评分矩阵的开放式生成奖励
论文提出MatrixReward，通过在每个评分标准下两两比较采样回答，构建「rollout×rubric」胜率矩阵来构造奖励，列离散度反映评分标准的区分能力，列间相关性揭示重复度，从而得到数据依赖的权重。在Qwen3-8B与四个开放式问答基准上平均得分63.02，较最强基线提升约2.0%。表明基…
arXiv cs.LG31 天前
★ 2
RLHF 之后是什么：Diogo Almeida 演讲
TypeSafe AI 的 Diogo Almeida 在视频演讲中探讨 RLHF 之后的对齐技术演进方向。内容涉及后 RLHF 时代的训练范式与替代方法，为研究者提供前沿视角。
Hacker News – AI46 天前