★ 3
FDE-Bench：评估欠明确真实商业需求的端到端交付
百度 BCE 团队发布 FDE-Bench，首个基于真实客户项目构建的基准，用于评估智能体在需求澄清与迭代优化上的端到端交付能力，涵盖 49 个组合优化与机器学习案例。在 18 种智能体配置中，最高平均交付分仅 0.5510（FDE 参考为 1.0），最高交付成功率仅 6.12%，表明可靠的前置工…
arXiv cs.AI19 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
百度 BCE 团队发布 FDE-Bench，首个基于真实客户项目构建的基准，用于评估智能体在需求澄清与迭代优化上的端到端交付能力，涵盖 49 个组合优化与机器学习案例。在 18 种智能体配置中，最高平均交付分仅 0.5510（FDE 参考为 1.0），最高交付成功率仅 6.12%，表明可靠的前置工…
研究者提出基于执行回放的评测方法，检验 AI 智能体根据自然语言描述生成的智能合约是否真正符合需求，发现 AI 评审与常规分析工具会漏掉明显错误。论文进一步提出「先问后写」架构：生成前向客户提出简短问题清单，并用独立编写的可执行答案键校验结果。作者开源了工具、600 个任务及全部结果。