★ 3
CleanRM：用少量干净反馈校准噪声奖励建模
论文提出 CleanRM，针对偏好数据中样本级噪声问题，利用少量干净反馈通过最优传输校准每个样本的噪声比例，并用噪声校正代理损失训练奖励模型。理论上证明该目标对干净风险无偏，实验显示其优于现有去噪基线，并能提升下游 RLHF 对齐效果。
arXiv cs.AI17 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 CleanRM，针对偏好数据中样本级噪声问题，利用少量干净反馈通过最优传输校准每个样本的噪声比例，并用噪声校正代理损失训练奖励模型。理论上证明该目标对干净风险无偏，实验显示其优于现有去噪基线，并能提升下游 RLHF 对齐效果。