Bradley-Terry Model

Bradley-Terry模型假设每个个体有潜在实力参数，比较中实力高者胜率由sigmoid函数决定。在RLHF中，人类对模型输出的成对偏好被用来训练奖励模型，其输出作为强化学习信号。该模型简单有效，但假设比较独立且实力静态。变体如Elo评分用于国际象棋，而BT模型在ChatGPT等系统中是关键组件，推动了对齐研究。