★ 4
GLANCE：视觉语言模型的无损单次块草稿解码
该研究提出GLANCE，首个在未修改的VLM目标上无损的单次块草稿器，通过块扩散头读取融合的视觉语言状态，实现快速解码。实验表明，GLANCE比自回归解码快2.93倍，并接受更长的块，且解码长度遵循目标的下一个令牌熵定律。
arXiv cs.AI61 天前
#推测解码
共 10 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
ECHO：把多 token 预测并入自回归目标
论文提出 Efficient Causal Self-Recursion（ECHO），让主干最后一层直接预测所有时间跨度，使监督落在生成下一 token 的参数上，并用动态深度采样降低深层训练成本。预训练阶段在推理与代码任务上以一半 MTP 开销取得增益，推理时模型可自任草稿模型，在开放式高熵生成…
arXiv NLP13 天前
★ 3
PV-Decoding：扩散模型渐进验证推测解码提速
论文提出 PV-Decoding，一种面向块扩散推理的置信度驱动推测解码框架，用两个置信阈值把掩码位置分为直接解码、推测与未解决三类，并采用渐进式验证策略。在三个扩散语言模型与 GSM8K、MBPP、HumanEval 上，顺序前向次数减少 8%–37%，最大精度下降仅 1.3%。
arXiv NLP13 天前
★ 3
SPOT：预测提交顺序加速扩散语言模型推测解码
论文指出扩散语言模型推测解码的关键缺口是「下一个填哪个位置」，而非 token 本身。作者提出 SPOT，用仅 0.62M 参数的模型读取目标输出分布并预测提交顺序，配合耦合噪声匹配验证支持任意温度下的树式推测。实验将目标前向次数最多减少 6.8 倍、吞吐提升至 3.2 倍，且草稿器可跨六个扩散语…
arXiv cs.LG14 天前
★ 3
研究：长上下文草稿生成无需长上下文草稿模型
论文指出推测解码在超长上下文下失效，因为草稿模型继承目标模型的上下文相关成本。作者冻结已发布的短上下文草稿模型，通过限制注意力缓存与重设旋转位置索引两种推理时机制，使其在 4k 到 200 万 token 范围内保持加速效果，无需训练长上下文草稿模型。
arXiv cs.LG17 天前
★ 3
SchemaFill：槽位并行推测解码加速工具调用
论文提出 SchemaFill 框架，通过槽位并行推测解码提升 LLM 工具调用效率。它并发生成未来槽位值作为候选，无需预知实际调用序列，再由目标模型在实际输出前缀下验证，仅提交通过验证的 token。在 Glaive 与 BFCL 上，端到端吞吐相比自回归解码最高提升 4.05 倍。
arXiv cs.LG26 天前
★ 3
Mentored Decoding：更快推理兼质量提升
论文提出 mentored decoding，一种有损推测解码的形式化方法，从理论上证明其为何能在加速推理的同时提升质量。作者将推理与机器学习训练理论 boosting 建立联系，并推广到全部 f-散度。研究揭示若干关键性质，包括全变差情形的几何特性，以及一种与散度无关的 O(n) 空间数据结构，…
arXiv cs.LG35 天前
★ 3
ASPIRE：面向长上下文LLM推理的异步批处理自推测解码
论文提出ASPIRE，一种非同步批处理自推测解码框架，解决现有批处理方法中所有请求共享统一草稿-验证调度的问题。其三大组件包括统一混合前向、在线推测调度器与草稿内刷新层。在三个模型、五个推理与长上下文基准上，解码吞吐较自回归基线提速1.70至4.58倍，较最强先前自推测基线平均提速约27%。
arXiv cs.LG46 天前
★ 3
PELM：结合推测解码与DVFS的端侧LLM低功耗推理
论文提出PELM，在传统DVFS调频基础上引入推测解码和可变验证深度两个工作负载维度，扩展优化空间以实现更节能的端侧LLM推理。在多种硬件和数据集上，PELM相比最先进功耗管理方法最高提速23.1%、能耗降低52.4%，同时保持任务性能。
arXiv cs.LG53 天前
★ 2
SpecMem 提出实时记忆管理加速智能体工具调用
arXiv 论文提出 SpecMem，一种在部署期间持续维护的工具调用记忆机制：将已验证的调用在线写回按用户划分的有界存储，并用 LRU 淘汰，同时以副作用门控延迟不可逆调用。在三个开放权重模型的多会话多用户查询流上，SpecMem 相比冻结存储将平均接受 token 数提升 27%（各基准 +1…
arXiv NLP7 天前