研究：vLLM 过载下仅靠取消请求无法恢复服务
原文标题：Cancellation Is Not Enough: What Retries Leave Behind in an Overloaded LLM Engine
重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。
论文在 vLLM 上用三个开源模型做过载实验，发现开启重试时仅传播取消在任一次运行中都未能恢复服务，过载后到达的请求仅 12-38% 被成功交付。追踪显示重试常在超时前不足半秒才开始预填充，被中止的执行消耗了 79-85% 的提示词 token。请求合并可交付全部请求，但需避免取消已中止执行。
深读 · 结论先行AI 生成展开看要点与影响 ↓
vLLM过载实验中仅传播取消请求未能恢复服务，过载后请求仅12-38%被交付
- •三个开源模型过载实验，开启重试时取消在任一次运行中都未恢复服务
- •过载后到达的请求仅12-38%成功交付
- •被中止的执行消耗了79-85%的提示词token，计数器漏计三分之一到一半
- •请求合并可交付全部请求，但需避免取消已中止的执行
为什么重要：重试风暴下的推理服务恢复策略需重新设计，直接影响推理集群的过载控制与SLO。
以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。
AI 处理过程展开/收起
相关推荐
OpenAI 据悉计划采购谷歌 TPU 芯片，降低对英伟达依赖
AI 摘要据报道，OpenAI 正计划采购谷歌自研的张量处理单元（TPU），以扩大算力规模并实现芯片供应多元化，双方尚未敲定最终条款。OpenAI 同时在推进与博通合作、代号 Jalapeno 的自研 AI 芯片。若交易落地，将直接冲击英伟达在 AI 加速芯片市场的主导地位，并重塑云厂商与大模型公司的算力供应格局。
阿联酋因伊朗袭击调整 5GW AI 数据中心计划
AI 摘要据路透社报道，在遭受伊朗袭击后，阿联酋修订了其 5GW AI 数据中心建设计划。该事件凸显地缘政治冲突对中东地区大规模 AI 基础设施投资的直接冲击，可能影响全球算力布局与供应链。
英伟达预计单季营收达1080亿美元
AI 摘要英伟达预测未来几个月内营收将达到1080亿美元，有望成为继亚马逊、苹果和Alphabet之后又一家季度营收超千亿美元的公司。其数据中心营收同比增长一倍以上，利润也大幅增长。
谷歌推出两款新版 TPU 芯片，加速追赶英伟达
AI 摘要谷歌推出两款全新版本张量处理单元（TPU），用于训练和运行 AI 软件，并支持机密计算与更广范围信息调取，适配 AI 智能体趋势。谷歌芯片业务以往每两年推出一款新 AI 处理器，今年一次性发布两款，并将于周一官宣 8tx、8i Max 细分变体。芯片负责人阿明·瓦德特称四款产品分别适配不同需求，强调专用化方向。