★ 2
研究:LLM 预测用户决策时过度采信口头承诺
研究用 42 名用户与五个不同人格智能体进行的 1260 轮重复囚徒困境博弈,测试八个开源权重 LLM 如何结合用户言辞与历史决策预测行为。结果显示仅凭决策记录即可较好区分合作与背叛(AUC 0.80),加入对话无增益,反而使预测过度相信用户承诺,在食言轮次准确率从 0.65 骤降至 0.17。
arXiv NLP5 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究用 42 名用户与五个不同人格智能体进行的 1260 轮重复囚徒困境博弈,测试八个开源权重 LLM 如何结合用户言辞与历史决策预测行为。结果显示仅凭决策记录即可较好区分合作与背叛(AUC 0.80),加入对话无增益,反而使预测过度相信用户承诺,在食言轮次准确率从 0.65 骤降至 0.17。
论文指出当前情感支持类对话智能体评估只看孤立对话状态,忽略披露历史。作者基于社会渗透理论提出 TraDE 评估框架,用预设披露轨迹考察历史对模型行为的影响。实验发现模型对同等深度披露的回应随前置轨迹变化,且差异与深度披露的累积暴露相关,并在披露回落后持续数轮。