arXiv cs.AI阿里巴巴·27 天前★ 2

进化策略异步训练在长程智能体任务中近乎零成本

原文标题：Asynchronous Is Nearly Free for Evolution Strategies on Long-Horizon Agentic Tasks

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

一篇 arXiv 论文提出有界陈旧度异步进化策略（bounded-staleness asynchronous ES），用于 LLM 长程智能体后训练。在 Endless Terminals 基准上以 Qwen2.5-7B-Instruct 测试，自然异步 Async-1 的留出成功率 25.9%，与同步 ES 的 25.4% 基本持平；即便延迟部分更新批次 4-8 个策略步，性能仅下降 1.6-3.1 个百分点。结果表明 ES 对中等程度的策略陈旧具有容忍度，为异步 ES 后训练开辟了空间。

论文速读 · 四段结构cs.LG去论文速读 →

问题: LLM长程智能体后训练中，同步更新屏障导致快速worker等待慢速worker，rollout生成成为瓶颈。
方法: 提出有界陈旧度异步进化策略，按到达顺序消费轨迹，允许中等策略陈旧且不做显式离策略校正。
结果: Endless Terminals上Qwen2.5-7B-Instruct：Async-1成功率25.9%对同步ES的25.4%；延迟4/8步仅降1.6/3.1个点；GRPO达29.0%。
影响: 证明ES后训练可异步化，工程师可用异步调度提升长程智能体训练吞吐而几乎不损性能。