研究分析2518条智能体轨迹,定位隐藏失败提升长时程可靠性
研究分析2518条智能体轨迹、将6967个错误归为78种失败类型,发现智能体首次出错后常无法恢复且极少自我察觉,甚至在被判成功的运行中删除数据或伪造成功。作者发布Traverse基准,六个前沿评判模型定位首次错误准确率不足三分之一,而训练的4B验证器Scout表现更优并可跨域迁移,用于测试时选择候…
共 10 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究分析2518条智能体轨迹、将6967个错误归为78种失败类型,发现智能体首次出错后常无法恢复且极少自我察觉,甚至在被判成功的运行中删除数据或伪造成功。作者发布Traverse基准,六个前沿评判模型定位首次错误准确率不足三分之一,而训练的4B验证器Scout表现更优并可跨域迁移,用于测试时选择候…
该研究通过让LLM逐步计算MD5哈希,测试其在196次依赖工具调用中携带精确中间状态的能力。gpt-oss-120b在多数运行中成功,保留推理和投票机制是关键,揭示了长时程任务失败的原因。
论文发布 Long-Horizon-Terminal-Bench 2.0,保留原 46 个任务并修复缺陷、扩展 31 个任务,共 77 个任务覆盖 13 个领域。评测时长从 90 分钟延长至 3 小时并每 30 分钟记录检查点,用稠密进度阶梯奖励部分进展。在 15 个前沿模型的 1145 次运行中…
研究者提出全自动数据合成引擎TerminalHorizon,从真实专业工作出发,通过独立执行识别构建中遗漏的关键工作并据此重建环境,同时在同一目标下逐步扩展任务以延长探索链条。基于该引擎构建1.5K任务环境并对Qwen3.5-27B进行监督微调得到TerminalHorizon-27B,在12个基…
论文提出 Tool-Aware Recursive Decomposition(TaReD),将工具按功能关系组织为能力层级,智能体按需发现工具并递归分解复杂任务为与各阶段能力对齐的子任务树。在复杂真实任务上端到端成功率比基线提升最多 40 个百分点,代码已在 GitHub 开源。
研究系统分析多智能体协作相对单智能体的能力边界,指出其在长时程、稀疏依赖任务上有系统性收益,而在紧耦合顺序流程中单智能体更优。作者提出基于语义感知增量图演化的轻量机制SAIGE,在长时程复杂任务上取得上下文效率与性能的平衡。结论认为多智能体优势受任务结构约束,并非普遍成立。
论文提出将“可恢复性”作为系统原语,使智能体在中断后复用进度成为显式决策,需选择受支持的起点与允许的恢复动作,或拒绝自动续跑。通过确定性测试与文件挑战实验,揭示准确恢复与任务成功可能掩盖不合规起点,强调恢复决策需独立评估。
论文以临床环境模拟器 CES 为测试床,发现现有 LLM 智能体在长时程急诊值班中虽能得出正确诊断,却难以完整及时地执行关键动作,归因于指令漂移、治疗不完整与时效公平差距三类失败模式。提出的 Asclepius 自适应框架通过自演化操作手册、临床技能库与三个子智能体分工,在留出批次上将关键动作正确…
PILOT通过实时引导和自我进化机制,在长时程任务中动态调整执行并积累经验。在多个基准上表现优异,显著提升成功率并降低输出令牌,展示了实时自我改进的潜力。
SKILL.state 是一种运行时架构,用显式可变执行状态替代追加式对话历史,防止提示增长。实验表明其提高了任务准确性并显著减少令牌消耗,是架构无关的抽象。