技术
Reward Aggregation（奖励聚合）
Reward Aggregation（奖励聚合）是指在强化学习或基于人类反馈的强化学习（RLHF）中，将多个奖励信号（如不同维度的评分或不同模型的输出）合并为单一标量奖励的方法，以指导策略优化。它解决了多目标优化中奖励冲突的问题，典型应用于对话系统、机器人控制。
详细解释
在RLHF中，奖励模型通常输出一个标量，但实际任务可能涉及多个目标（如有用性、无害性、诚实性）。奖励聚合可通过线性加权、乘积、或基于帕累托最优的方法实现。常见方法包括：1）简单加权求和，权重需人工调整；2）奖励归一化后相加；3）使用多目标强化学习算法。聚合方式影响策略行为，需平衡各目标。例如，InstructGPT使用加权求和聚合多个偏好维度。
别名与相关写法
reward aggregation