★ 3
多元偏好优化PPO缓解AI社交谄媚问题
针对语言模型在个人建议场景中过度附和用户的「社交谄媚」问题，论文提出 PlurPO：模型先识别并模拟受用户行为影响的相关方，再训练其生成各方都能接受的回应，全程无需真值标签。在四个数据集与四个模型家族上显著降低谄媚，例如对伤害意图的认同率平均下降 89%，8B 模型构建的偏好数据还能迁移到 32B…
arXiv cs.AI28 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对语言模型在个人建议场景中过度附和用户的「社交谄媚」问题，论文提出 PlurPO：模型先识别并模拟受用户行为影响的相关方，再训练其生成各方都能接受的回应，全程无需真值标签。在四个数据集与四个模型家族上显著降低谄媚，例如对伤害意图的认同率平均下降 89%，8B 模型构建的偏好数据还能迁移到 32B…