技术
Reward Model（奖励模型）
奖励模型是强化学习人类反馈（RLHF）中的核心组件，用于学习人类偏好并为语言模型生成奖励信号，解决如何将主观质量转化为可优化目标的问题。典型应用包括InstructGPT和ChatGPT的训练。
详细解释
在RLHF中，奖励模型通常以预训练语言模型为基础，在人类对模型输出的排序数据上进行训练，输出标量奖励值。它充当人类偏好的代理，指导策略模型（如PPO）优化。关键技术包括偏好建模（如Bradley-Terry模型）和损失函数设计。代表工作有OpenAI的InstructGPT、Anthropic的HH-RLHF等。
别名与相关写法
reward model
相关术语
相关公司
相关资讯
生成式奖励模型扩展规律研究：评判准确率不等于优化效果2026/10/23
研究：奖励模型窄域有害微调可泛化至七个领域2026/10/20
CleanRM：用少量干净反馈校准噪声奖励建模2026/10/16
无监督多模态奖励建模：冻结 Qwen3-VL 中间层超越 GPT-4o2026/10/12
LatentGRM：潜在空间奖励建模提速 7 倍2026/10/8
CoRe：协同演化奖励模型抑制视频扩散奖励攻击2026/9/30
AI 智能体运营 20 美元 Kalshi 账户并公开奖励模型2026/10/12