arXiv cs.AI·65 天前★ 3

DuMateBench：真实复杂工作流中的智能体评估

原文标题：DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

DuMateBench基于真实用户会话重建200个任务，涵盖8大场景和17个能力类别，并注入环境复杂性。实验显示现有智能体框架在严格任务完成上存在显著差距，性能受LLM和框架共同影响。

论文速读 · 四段结构cs.AI去论文速读 →

问题: 现有智能体基准按应用或能力切分，环境比真实生产更干净稳定。
方法: 从大规模生产智能体平台的匿名用户会话重建200个任务，保留交互历史、持久配置和工作区状态，并在Docker中注入不足、不稳定、噪声三类环境复杂性。
结果: 五个代表性智能体框架配四个先进LLM在严格任务完成上存在显著差距，环境扰动下表现由LLM与框架共同决定。
影响: 提供更贴近真实工作流的评估，提醒工程师智能体性能不能只看模型，框架同样关键。

AI 处理过程展开/收起

原始标题：DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows

AI 中文标题：DuMateBench：真实复杂工作流中的智能体评估

来源：arXiv cs.AI · 发布于 65 天前

分类：学术研究 · AI 重要度：★ 3（3）

标签：智能体评估 / 真实工作流 / 基准测试 / 环境复杂性

关键词：DuMateBench / agent / benchmark

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。