★ 3
ARCANA 基准发布:测试大模型远类比推理,人类仍显著领先
研究提出 ARCANA 类比推理基准,要求把现实物体或物理现象映射为抽象网格变换,侧重跨领域远类比而非人类先验。人类研究显示可稳定解题,而多种大模型存在明显性能差距与系统性失败模式。团队同时提出 ConceptSIR 框架,使标准 LLM 能解出部分此前直接提示失败的难题。
arXiv cs.AI11 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究提出 ARCANA 类比推理基准,要求把现实物体或物理现象映射为抽象网格变换,侧重跨领域远类比而非人类先验。人类研究显示可稳定解题,而多种大模型存在明显性能差距与系统性失败模式。团队同时提出 ConceptSIR 框架,使标准 LLM 能解出部分此前直接提示失败的难题。