★ 2
研究评估记忆受限用户模拟器的重复与干扰效应
研究评估记忆受限的用户模拟器是否对人类信息保持的两个因素——事实重复与竞争信息干扰——敏感。发现部分模拟器整体准确率接近人类并复现了效应幅度,但在具体问题上无一匹配人类准确率:人类会记错事实,模型则直接遗忘,导致不同错误模式。团队将数据发布为挑战基准。
arXiv NLP13 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究评估记忆受限的用户模拟器是否对人类信息保持的两个因素——事实重复与竞争信息干扰——敏感。发现部分模拟器整体准确率接近人类并复现了效应幅度,但在具体问题上无一匹配人类准确率:人类会记错事实,模型则直接遗忘,导致不同错误模式。团队将数据发布为挑战基准。
论文揭示基于 LLM 的用户模拟器中,注入的行为活跃度特质会干扰偏好边界,导致特质干扰与评估失效两类问题,使满意度评分虚高。作者提出 PQA 页面级质量锚定方法,用个性化锚点判断页面是否达标,从而主动退出低质量页面。实验显示 PQA 能缓解特质干扰,提升活动度变化下模拟器评估的可靠性。