★ 2
新测试台TranSGrid揭示系统泛化评测缺陷
论文指出既有系统泛化研究依赖近似线性动作组合、基于产出性的测试和动作显式目标等简化，遗漏了关键能力维度。作者提出TranSGrid测试台，统一演绎、归纳与溯因推理，实验显示七个Transformer在测试集上最高解出79.6%，但在TranSGrid上仅55.3%，最难子集仅15.8%。结果表明仅…
arXiv cs.AI45 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出既有系统泛化研究依赖近似线性动作组合、基于产出性的测试和动作显式目标等简化，遗漏了关键能力维度。作者提出TranSGrid测试台，统一演绎、归纳与溯因推理，实验显示七个Transformer在测试集上最高解出79.6%，但在TranSGrid上仅55.3%，最难子集仅15.8%。结果表明仅…