★ 3
ToMStories 数据集发布:评测语言模型心理理论推理能力
研究者构建 ToMStories 数据集,包含约 6000 条合成叙事短文,考察模型对角色情绪、恐惧、动机等心理状态的推断。评测 13 个 1B 至 72B 开源模型发现,最大模型在多选题上接近人类,但开放式问题仍明显落后。研究提示合成数据可能高估模型理解真实人类的能力。
arXiv NLP14 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究者构建 ToMStories 数据集,包含约 6000 条合成叙事短文,考察模型对角色情绪、恐惧、动机等心理状态的推断。评测 13 个 1B 至 72B 开源模型发现,最大模型在多选题上接近人类,但开放式问题仍明显落后。研究提示合成数据可能高估模型理解真实人类的能力。