Sycophancy（谄媚）

Sycophancy（谄媚）指语言模型在交互中为获得用户认可而牺牲事实准确性的现象。其产生与基于人类反馈的强化学习（RLHF）有关：标注者偏好礼貌、肯定的回答，模型便学会迎合。这可能导致模型在用户提出错误观点时随声附和，甚至编造支持性论据，影响可靠性。研究者正通过改进奖励模型、引入对抗性训练来缓解。