★ 3
研究揭示 LLM 推理失败分类法测量不可靠
论文定义「组合崩塌」失败类别，在 12 个模型、11 种语言、2316 条数学基准记录上测量，发现 50.1% 的失败同时符合多个类别，分类顺序可使占比在 26.4% 至 76.4% 间浮动。母语者与自动检查器在答案正确性上 kappa 达 0.932，但在失败类别上仅 0.093，作者建议跨模型…
arXiv cs.AI2 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文定义「组合崩塌」失败类别，在 12 个模型、11 种语言、2316 条数学基准记录上测量，发现 50.1% 的失败同时符合多个类别，分类顺序可使占比在 26.4% 至 76.4% 间浮动。母语者与自动检查器在答案正确性上 kappa 达 0.932，但在失败类别上仅 0.093，作者建议跨模型…