★ 3
CogArena:多模态智能体交互行为实验基准发布
研究者推出 CogArena,涵盖社会科学与行为科学十个实验范式,智能体通过标准浏览器在相同视觉刺激与响应界面下完成任务。三级评分考察是否完成、完成准确度及是否复现人类行为特征。四个多模态模型各跑十次显示,完成任务与复现行为特征并不等同。
arXiv cs.AI5 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究者推出 CogArena,涵盖社会科学与行为科学十个实验范式,智能体通过标准浏览器在相同视觉刺激与响应界面下完成任务。三级评分考察是否完成、完成准确度及是否复现人类行为特征。四个多模态模型各跑十次显示,完成任务与复现行为特征并不等同。
一篇论文提出用轨迹抽象层级来研究语言智能体的行为,通过递归程序测量角色与阶段事件、构建情节级母题变量,并检验其跨任务与跨模型的稳定性。研究给出接受归约的有限深度界,并区分该实验方法与语义分类学、定性理论归纳等路径。