★ 3
解耦就绪与释放：智能体LLM工作流尾延迟调度
智能体LLM工作流由模型轮次与工具交互交织而成，现有运行时在轮次就绪后立即释放，拥塞时导致尾延迟升高。论文提出尾风险感知的轮次释放调度方法，采用均值-CVaR目标并动态调整已释放未完成工作预算。在真实软件工程执行轨迹上，拥塞场景下P95流时间最高提速3.50倍。
arXiv cs.AI51 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
智能体LLM工作流由模型轮次与工具交互交织而成，现有运行时在轮次就绪后立即释放，拥塞时导致尾延迟升高。论文提出尾风险感知的轮次释放调度方法，采用均值-CVaR目标并动态调整已释放未完成工作预算。在真实软件工程执行轨迹上，拥塞场景下P95流时间最高提速3.50倍。