★ 3
新基准 PLE 发布：最强智能体物理工程设计仅得 50.6%
研究者推出 PLE 基准，包含 85 个电气、土木、结构与机械工程的长周期智能体任务，要求产出可交付的真实工程设计包。在七种公开 harness 下，最强配置平均仅 50.6%，每题平均消耗 2700 万 token、63 分钟。结果显示当前智能体与自主物理工程设计仍有巨大差距。
arXiv cs.AI10 天前
#长周期任务
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Kolab：长周期工作流人机协作基准发布
论文推出 Kolab 数据集，包含 40 种职业 50 位专业人士与智能体协作的 115 小时以上屏幕录制，用于评测长周期任务中的人机协作。研究发现前沿模型普遍高估与专家的协作质量，且难以区分高质量与低质量协作，更长的流程上下文并未稳定改善预测。
arXiv cs.AI17 天前
★ 3
MIRA：长周期研究智能体的元推理架构
论文提出 MIRA，将研究资源分配与执行分离的分层架构：外层元推理器从持久研究记录中整理上下文并下达下一步调查指令，内层执行器完成具体工作。无需策略训练即可在定理证明与神经网络架构搜索中提升长周期推理表现。进一步训练生成式 actor-critic（MIRA-AC）后，在四个自动研究环境中提升最终…
arXiv cs.AI28 天前
★ 3
Taste-Bench：衡量并提升智能体长周期品味
论文提出Taste-Bench，自动从工程与研究任务轨迹中挖掘决策分叉点，评估智能体在长周期任务中的“品味”即决策能力。测试显示最佳前沿模型仅答对59.7%，证据出现越晚越难，且更大推理预算无助于提升。研究还证明品味可训练，通过蒸馏教师判断可提升学生模型在SWE-bench Pro上的端到端成功率。
arXiv cs.AI40 天前
★ 3
子智能体 vs 智能体技能：长周期任务中可复用知识的执行方式
论文对比了智能体技能的两种执行方式：将技能指令载入主上下文，或将技能包作为子智能体调用并开启全新上下文窗口。结果显示，当技能包具备清晰输入输出契约时，子智能体执行优于技能加载执行，因为长任务中上下文累积会削弱推理质量。代价是主智能体与子智能体之间的额外通信开销。
arXiv cs.AI53 天前
★ 3
CHIME：长周期智能体规划的信用感知分层记忆演化
CHIME是一种自演化记忆框架，通过分离规划与执行记忆并采用属性优先原则，解决信用分配问题。实验表明其在多个长周期基准上优于现有方法，且记忆可跨模型迁移。
arXiv cs.AI60 天前
★ 2
Android Bench 2 新增长周期任务与连续评分支持
Android Bench 2 版本更新，新增对长周期任务、智能评估和连续评分的支持。该基准测试能力升级，旨在更贴近真实场景评估 AI 在 Android 平台上的任务表现。
InfoQ AI6 天前