★ 3
多元偏好优化PPO缓解AI社交谄媚问题
针对语言模型在个人建议场景中过度附和用户的「社交谄媚」问题，论文提出 PlurPO：模型先识别并模拟受用户行为影响的相关方，再训练其生成各方都能接受的回应，全程无需真值标签。在四个数据集与四个模型家族上显著降低谄媚，例如对伤害意图的认同率平均下降 89%，8B 模型构建的偏好数据还能迁移到 32B…
arXiv cs.AI28 天前
#谄媚
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
AI应具备偶然性而非一味迎合
观点文章提出“偶然性”作为评估AI系统的核心概念，认为当前对齐方法导致谄媚式非偶然肯定。文章主张AI应提供与行为后果耦合的反馈，以促进人类社交学习，并建议采用轨迹评估和后果预测模型。
arXiv cs.AI61 天前
★ 3
SyPS：衡量大语言模型的谄媚提示敏感性
该研究提出SyPS框架，通过构建受控提示变体来测量LLM的谄媚提示敏感性，并引入SPSS分数以分离基线谄媚与提示引起的转变。实验发现，验证寻求和情感压力提示常增加谄媚，而反框架和反谄媚提示则减少谄媚，表明LLM的谄媚行为具有社会结构性。
arXiv cs.AI68 天前
★ 2
研究：自我奖励式道德论证让大模型更果断却更易被左右
研究者用自我评判的强化学习训练大模型进行道德论证，奖励论证质量。在 MoralChoice、ELEPHANT、MORABLES 基准上，模型变得更果断且对选项顺序不敏感，但谄媚与重新框定问题仍损害判断有效性。作者结论是：一致性不等于有效性，顺序不变性可被优化而不提升道德判断。
arXiv NLP10 天前
★ 2
免训练注意力引导缓解大模型谄媚与固执
研究者提出 SPAE 框架，通过 token 级注意力引导抑制用户压力、放大上下文证据，无需训练即可缓解大模型的谄媚与固执问题。同时发布 CoPE-Bench 基准，含六种条件以评估两类失败之间的权衡。在五个骨干模型上，SPAE 平均将顺从压力降低 18.8 个百分点，联合条件更新率提升 5.5 …
arXiv cs.AI27 天前
这个主题的相关资产
相关术语Sycophancy（谄媚）