★ 3
DMAIC-Bench 发布：评估智能体在多阶段分析中的自我约束能力
研究者提出 DMAIC-Bench，用 97 个任务、15 个工业案例评估 LLM 智能体能否依据中间证据决定继续、转向或停止，即「自我约束」能力。测试 13 个模型显示，匹配 GO 决策的路由准确率平均 92%，而 NO-GO 决策仅 19%，专家评审估计 47% 的 NO-GO 决策仍基于无效…
arXiv cs.AI7 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者提出 DMAIC-Bench，用 97 个任务、15 个工业案例评估 LLM 智能体能否依据中间证据决定继续、转向或停止，即「自我约束」能力。测试 13 个模型显示，匹配 GO 决策的路由准确率平均 92%，而 NO-GO 决策仅 19%，专家评审估计 47% 的 NO-GO 决策仍基于无效…