★ 3
解耦就绪与释放：智能体LLM工作流尾延迟调度
智能体LLM工作流由模型轮次与工具交互交织而成，现有运行时在轮次就绪后立即释放，拥塞时导致尾延迟升高。论文提出尾风险感知的轮次释放调度方法，采用均值-CVaR目标并动态调整已释放未完成工作预算。在真实软件工程执行轨迹上，拥塞场景下P95流时间最高提速3.50倍。
arXiv cs.AI51 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
智能体LLM工作流由模型轮次与工具交互交织而成，现有运行时在轮次就绪后立即释放，拥塞时导致尾延迟升高。论文提出尾风险感知的轮次释放调度方法，采用均值-CVaR目标并动态调整已释放未完成工作预算。在真实软件工程执行轨迹上，拥塞场景下P95流时间最高提速3.50倍。
论文提出 GAUSS，一种负载感知的分析与蒙特卡洛仿真器，可预测首 token 时延（TTFT）、token 间时延（TBT）的完整分布及可持续请求率。它结合预填充与解码的分阶段延迟曲面与排队模型，通过集成蒙特卡洛采样捕捉尾延迟。可支持未部署工作负载、路由策略与硬件配置的容量规划。