★ 3
ArrivalBench:智能体数据管道一次正确、时序下出错
现有智能体数据管道评测只对固定快照运行一次,ArrivalBench改为在迟到、重复、乱序、重试等可重放投递计划下重新执行管道,并要求最终状态等于完整日志的批重算结果。在40个任务上,单次执行评测认证了11个模型产出管道的86%-100%,但重放发现其中7.0%-79.2%存在静默错误。研究还发现…
arXiv cs.LG27 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
现有智能体数据管道评测只对固定快照运行一次,ArrivalBench改为在迟到、重复、乱序、重试等可重放投递计划下重新执行管道,并要求最终状态等于完整日志的批重算结果。在40个任务上,单次执行评测认证了11个模型产出管道的86%-100%,但重放发现其中7.0%-79.2%存在静默错误。研究还发现…
研究探讨工具调用智能体的精确一次行为应在模型、智能体框架还是工具契约中实现。作者构建 LIMBO 沙盒,注入十二种故障模式,跨 25,930 个回合测试九个模型与三种生产框架。结果显示:可立即回读时模型决定结果,无法回读时契约解释 81% 的方差,而框架影响甚微。
开发者发布开源项目 Forked,为 AI 代理的结构化状态(消息、记忆、计划、工具结果)提供分支、回滚与重放能力,并带副作用日志保证支付、邮件等操作在重试时幂等。项目采用 Apache-2.0 协议,含 Rust 引擎与 TypeScript SDK,并提供 LangGraph 检查点适配。