★ 3
arXiv 发布 SCI 量表评估语言模型信念一致性
研究者提出 Schema Coherence Inventory（SCI），用 96 道强制选择题在八个认知层级上测量赋予语言模型的信念是否真正组织其行为，而非仅改变情绪。在五个 1.7B-14B 参数骨干模型上完成六项验证研究，临床训练评分者一致率达 79.5%，并发现六个已发表患者模拟器均未真…
arXiv NLP6 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者提出 Schema Coherence Inventory（SCI），用 96 道强制选择题在八个认知层级上测量赋予语言模型的信念是否真正组织其行为，而非仅改变情绪。在五个 1.7B-14B 参数骨干模型上完成六项验证研究，临床训练评分者一致率达 79.5%，并发现六个已发表患者模拟器均未真…
研究者构建 ToMStories 数据集，包含约 6000 条合成叙事短文，考察模型对角色情绪、恐惧、动机等心理状态的推断。评测 13 个 1B 至 72B 开源模型发现，最大模型在多选题上接近人类，但开放式问题仍明显落后。研究提示合成数据可能高估模型理解真实人类的能力。