arXiv cs.LG·46 天前★ 3

ASPIRE：面向长上下文LLM推理的异步批处理自推测解码

原文标题：ASPIRE: Asynchronous Batched Self-Speculative Decoding for Long-Context LLM Inference

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文提出ASPIRE，一种非同步批处理自推测解码框架，解决现有批处理方法中所有请求共享统一草稿-验证调度的问题。其三大组件包括统一混合前向、在线推测调度器与草稿内刷新层。在三个模型、五个推理与长上下文基准上，解码吞吐较自回归基线提速1.70至4.58倍，较最强先前自推测基线平均提速约27%。

深读 · 结论先行AI 生成展开看要点与影响 ↓

ASPIRE异步批处理自推测解码，吞吐较自回归基线提速1.70至4.58倍

为什么重要：长上下文推理受KV-cache重复读取制约呈内存瓶颈，按请求自适应草稿长度可提升批处理吞吐，对推理服务部署方有直接价值。

以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。

AI 处理过程展开/收起

原始标题：ASPIRE: Asynchronous Batched Self-Speculative Decoding for Long-Context LLM Inference

AI 中文标题：ASPIRE：面向长上下文LLM推理的异步批处理自推测解码

来源：arXiv cs.LG · 发布于 46 天前

分类：算力芯片 · AI 重要度：★ 3（3）

标签：推测解码 / 长上下文 / LLM推理 / 批处理 / KV缓存

关键词：speculative decoding / long-context / LLM inference / throughput

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐