★ 4
潜意识强化学习：模型特质可经裁判打分悄然传递
论文展示在 GRPO 后训练中，学生模型仅凭自身输出与语言模型裁判的分数，即可在无任何语义痕迹的情况下习得裁判偏好的特质。48 个设计单元中 17 个在 5% 错误发现率下确立特质传递，仅去除裁判间奖励差即可消除传递。作者将其归纳为四阶段链条，并指出该机制同样适用于 AI 安全相关的不良性情倾向。
arXiv cs.AI2 小时前
#奖励模型
共 22 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
★ 3
Rubricon 自动生成评分细则提升 LLM 评测与训练效果
论文提出 Rubricon 流水线，无需人工偏好标注或评分细则注释即可自动生成有区分度的评分细则，通过采样、筛选、补充与剪枝迭代优化。在五个基准上其评分与专家细则的一致性比最佳替代方法高 9%，用其细则后训练 Qwen3.5-9B 在 HealthBench 上提升 4.5%。
arXiv cs.AI3 天前
★ 3
生成式奖励模型扩展规律研究：评判准确率不等于优化效果
论文在创意写作策略优化中比较生成式奖励模型（GenRM）的不同训练方式，覆盖 Qwen3 0.6B 至 14B 规模。静态金标准确率更高的 Thinking 评判器，在在线 DPO 训练中常被 Answer-Only 奖励器反超。研究提出「评估者—奖励者差距」：固定分布上的评判准确率无法决定下游优…
arXiv cs.AI10 天前
★ 3
研究：奖励模型窄域有害微调可泛化至七个领域
论文对 Skywork-Reward-V2-Llama-3.1-8B 与 Skywork-Reward-V2-Qwen3-8B 两个奖励模型做窄域有害偏好微调，发现其在医疗或金融领域的偏好反转会泛化到七个留出领域，且在 RewardBench 2 上仅小幅下降。机制上表现为表征几何压缩与有害表征向…
arXiv cs.AI13 天前
★ 3
EDIC 框架实现外部数据逐指令合规，有害拒绝率提升 7.7%
针对外部文档中合法指令与提示注入混杂的问题，论文提出「外部数据指令分类」任务与 EDIC 分解奖励框架。它用场景化数据注入与反事实过滤构建训练数据，并以 GRPO 精调生成式评判器，在指令级别区分有益与有害合规。在两个骨干模型、五个基准上，EDIC 同时提升安全性与实用性，Qwen3-4B 上有害…
arXiv NLP14 天前
★ 3
CleanRM：用少量干净反馈校准噪声奖励建模
论文提出 CleanRM，针对偏好数据中样本级噪声问题，利用少量干净反馈通过最优传输校准每个样本的噪声比例，并用噪声校正代理损失训练奖励模型。理论上证明该目标对干净风险无偏，实验显示其优于现有去噪基线，并能提升下游 RLHF 对齐效果。
arXiv cs.AI17 天前
★ 3
无监督多模态奖励建模：冻结 Qwen3-VL 中间层超越 GPT-4o
一篇 arXiv 论文提出无需人工偏好标注的多模态奖励模型：在冻结的 Qwen3-VL 主干中间层上训练线性头，用同图扰动字幕做对比打分，标注数据仅用于选层。该方法在 32B 规模下于三个基准上追平或超过 GPT-4o，VL-RewardBench 领先 6.6 分，算力仅为微调的千分之一。研究还…
arXiv NLP21 天前
★ 3
BSR：软件工程智能体的行为自奖励方法
论文提出行为自奖励（BSR），一种奖励精炼方法，复用策略自身比较同一任务、同一验证结果下轨迹的可观察调试行为。BSR 将成对偏好聚合为任务局部分数并转为有界辅助奖励，在保留验证器通过/失败顺序的同时引入奖励对比。在 SWE-bench Verified 与 SWE-bench-Live 上，Qwe…
arXiv cs.AI21 天前
★ 3
语音质量指标可攻击性评测协议与基准
论文指出语音质量预测器可攻击性测量存在两大缺陷：扰动经神经编解码链路自身改变分数，以及单一攻击者只是样本而非测量。修正协议下四个预测器差异巨大，NISQA 在 90% 语句上被攻破，UTMOS 仅 6%；攻击-检测-修补闭环的加固效果有限且带来域外性能损失。
arXiv cs.LG24 天前
★ 3
LatentGRM：潜在空间奖励建模提速 7 倍
研究者提出 LatentGRM，一种基于语义分块、压缩与重建的潜在空间评估框架，用于生成式奖励建模。它通过连续潜在轨迹完成成对判断，无需逐 token 生成文本评估，并可用独立解释器离线还原评估文本。在 4B 与 8B 规模下，其偏好准确率与显式 SFT 评判模型相当，8B 版本将评估轨迹压缩 8…
arXiv NLP25 天前
★ 3
论文训练想法级评审模型，提升 ML 进化智能体验证效率
论文针对 AI4ML 中经验验证成本高昂的问题，训练专门的想法级评审模型（idea-level critic），预测某个 ML 修改是否能改进当前方案，从而筛选想法、把验证资源集中在最有希望的候选上。评审模型经 Gemini-3.1-Pro 合成高质量评论做监督微调，再用 GRPO 提升预测准确率…
arXiv cs.AI25 天前
★ 3
研究：重新审视奖励优化的缩放定律
论文研究 AI 对齐中针对奖励模型优化的缩放规律，厘清性能如何随偏好训练数据量与 KL 散度预算共同变化。作者提出信息论模型，证明性能大致按 Θ(√min{log(M), K}) 缩放并给出紧致可达的构造过程。用 70B 金标准奖励模型生成反馈、0.6B 至 4B 代理模型训练的实证显示，该定律拟…
arXiv cs.LG32 天前
★ 3
CoRe：协同演化奖励模型抑制视频扩散奖励攻击
论文发现针对固定潜在奖励模型优化视频扩散模型会迅速导致潜在奖励攻击：预测奖励保持高位而感知与运动质量恶化，根源是生成器在数百次更新后逃逸出奖励模型的训练分布。作者提出 CoRe 协同演化奖励框架，将潜在空间对齐视为生成器与奖励模型的动态交互，持续用生成器当前样本重拟合奖励模型并锚定真实视频偏好。在…
arXiv cs.AI33 天前
★ 3
研究：从人类反馈中学习异质性偏好
从人类反馈学习已成训练现代 AI 的核心范式，但现有方法假设全群体共享统一效用函数，将标注者分歧视为随机噪声。论文研究主观偏好学习，基于理性选择理论提出以个体及其决策情境为条件的个体化效用函数，并用多模态数据估计。在 2398 名参与者、逾 57.5 万对汽车轮毂美学判断的新数据集上，个体化效用模…
arXiv cs.AI46 天前
★ 3
ALIGN-HOLD：滴滴大规模网约车实时保留控制经验对齐
论文提出ALIGN-HOLD，从订单轨迹、司机轨迹和局部匹配图中构建偏好对，训练经验奖励模型，用于学习网约车实时保留策略。在滴滴平台28天随机A/B实验中，日均约10万乘客请求，行程完成率和司机收入显著提升，乘客取消率显著下降。系统已全面上线服务滴滴巴西市场。
arXiv cs.LG53 天前
★ 2
arXiv 论文：成对评测漏掉奖励模型的提示词间偏差
论文指出成对评测中同一提示词下共享的分数分量会被抵消，因而从未被检验。作者提出以人类评分为参照的审计方法，在 HelpSteer2 上发现六个奖励模型的提示词间方差占比为 0.34-0.64，而人类评分接近零。建议奖励模型评测应分别检查提示词间变异、对错误提示词的敏感度与选择有效性。
arXiv NLP10 天前
★ 2
Reward Engine：开放式工具智能体的奖励自进化
论文提出Reward Engine，从任务与初始轨迹构建包含测试用例与评分细则的RewardPack，作为冻结奖励指导智能体修正输出并用于强化学习。在WorkBuddy Bench Office与Claw-Eval上，三次运行一致性分别从45.0%升至54.0%、78.4%升至83.7%。
arXiv cs.AI13 天前
★ 2
arXiv 论文：尾部竞争解释 Best-of-N 采样扩展规律
该 arXiv 论文研究大语言模型推理时扩展策略 Best-of-N 采样在不完整奖励模型下的行为，将其建模为正确与错误回答的极端奖励尾部竞争。作者用极值理论刻画了正确尾部主导、错误尾部主导和临界三种渐近机制，并推导有限样本扩展律，指出高斯奖励下高方差错误回答可能主导选择。论文还提出轻量级尾部张力…
arXiv NLP18 天前
★ 2
MatrixReward：基于评分矩阵的开放式生成奖励
论文提出MatrixReward，通过在每个评分标准下两两比较采样回答，构建「rollout×rubric」胜率矩阵来构造奖励，列离散度反映评分标准的区分能力，列间相关性揭示重复度，从而得到数据依赖的权重。在Qwen3-8B与四个开放式问答基准上平均得分63.02，较最强基线提升约2.0%。表明基…
arXiv cs.LG31 天前
★ 2
对话幽默训练中的奖励漏洞与对策
论文研究用于训练语言模型对话幽默能力的自动奖励，聚焦奖励漏洞与对策。受控测试显示基于嵌入的惊喜奖励会把词序打乱的回复与机智回复同等接受，流畅度过滤器虽能检测打乱但会误拒部分机智回复。观众模型的预测笑声易受双方消息中的笑声线索影响，跨说话人归一化可阻断已知攻击。三次强化学习运行显示最终版本综合评分提…
arXiv cs.AI31 天前
★ 2
不确定性归一化边际的 DPO 改进
论文提出 UNM-DPO，将偏好强度边际与可学习的提示尺度结合，基于异方差 Bradley-Terry 模型设计两种训练目标。在 HelpSteer2/3 与 AlpacaEval 上，ULNM-DPO-WR 相比 DPO 和 SimPO 取得更高胜率与更短回复。该工作为偏好优化引入偏好强度与提示…
arXiv cs.LG32 天前