★ 3
研究：vLLM 过载下仅靠取消请求无法恢复服务
论文在 vLLM 上用三个开源模型做过载实验，发现开启重试时仅传播取消在任一次运行中都未能恢复服务，过载后到达的请求仅 12-38% 被成功交付。追踪显示重试常在超时前不足半秒才开始预填充，被中止的执行消耗了 79-85% 的提示词 token。请求合并可交付全部请求，但需避免取消已中止执行。
arXiv cs.AI9 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文在 vLLM 上用三个开源模型做过载实验，发现开启重试时仅传播取消在任一次运行中都未能恢复服务，过载后到达的请求仅 12-38% 被成功交付。追踪显示重试常在超时前不足半秒才开始预填充，被中止的执行消耗了 79-85% 的提示词 token。请求合并可交付全部请求，但需避免取消已中止执行。