★ 3
TraceSpec：为 LLM 智能体改进投机解码的轨迹自适应框架
论文指出聚合式投机解码指标掩盖了智能体不同决策点的差异，提出 TraceSpec 框架，将轨迹评估与自适应草稿训练结合，并发布含 1 万训练状态、2500 测试状态的 TraceSpec-Traj 语料。方法按状态条件分配预测预算，在三种目标规模与两种温度下将重放吞吐提升 12.5%–22.6%。…
arXiv NLP6 小时前
#投机解码
共 18 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
arXiv 提出 RIFT：草稿模型 KV 缓存压缩，Qwen3.5 保留 98% 接受长度
论文针对投机解码中草稿模型的 KV 缓存压缩问题，提出「解码陈旧性」现象并给出 RIFT 系列基于选择策略的压缩方法，平衡预填充信息与近期生成 token。配合基于稀疏注意力掩码的可压缩性训练，Qwen3.5-4B 为 Qwen3.5-122B 起草时，在 32K 输入、8K 缓存预算下保留超 9…
arXiv NLP10 天前
★ 3
研究：长思维链下投机解码接受率并不随位置衰减
论文在 MATH-500 全部 500 题上，用同族与跨族两个独立草稿模型对 DeepSeek-R1-Distill-Qwen-7B 做约 178 万轮验证，首次系统测量接受率随生成位置的变化。排除贪心解码重复问题后，四种配置下接受率均不随位置衰减，后半段甚至略高。拒绝集中在「wait」「howe…
arXiv cs.AI10 天前
★ 3
FlashMap：流映射投机解码在 Qwen3-8B 实现 6.1 倍加速
论文提出 FlashMap，一种连续流草稿模型，以目标模型隐藏状态为条件，一次前向生成整块 token 并捕捉 token 间依赖。相比 DFlash 等块扩散草稿器，其在 Qwen3-8B 上所有基准均更快，平均加速提升 7%，最高实现 6.1 倍无损加速。
arXiv NLP13 天前
★ 3
arXiv 提出 DScout，优化扩散草稿模型投机解码吞吐
论文提出 DScout，用训练端与推理端两种分解指导扩散草稿模型的投机解码。训练端把逐位置损失分解为包含、加权与预测损失以对齐前缀接受；推理端把吞吐分解为平均接受 token 数与单轮延迟之比来选择配置。在 Qwen3-4B 与 Qwen3-8B 上分别取得 3.84 倍与 4.14 倍平均加速，…
arXiv cs.LG13 天前
★ 3
字节语言模型论文：扩展、涌现抽象与信息分配
一篇论文挑战语言模型必须依赖显式分词器的假设，证明标准扁平 Transformer 可直接处理原始字节序列，并在参数规模扩大时超越传统子词模型。研究通过 token-superposition 训练与哈希嵌入实现更低最优损失，并发现字节模型会自发形成局部抽象结构，为投机解码带来约 3.4 倍的接受…
Lobsters – Machine Learning22 天前
★ 3
一个 Token 值多少算力？MoA 测量充分计算量
论文指出大模型对每个 token 花费相同算力，而投机解码与模型路由的前提是大量算力冗余，但单个 token 实际所需算力从未被测量。作者通过 Mixture-of-Agents 视角，用十五个不同容量模型逐 token 复现参考序列，将最小成功智能体的推理成本定义为该 token 的充分算力。结…
arXiv cs.AI28 天前
★ 3
Jina AI发布jina-ocr-v1文档解析模型
Jina AI发布jina-ocr-v1，一款3.4B参数的MoE视觉文档解析模型，可将PDF、扫描件、表格、图表和发票转为Markdown。模型基于DeepSeek-OCR，内置FastMTP投机解码，在OmniDocBench v1.6得分91.14，单张A100每秒解析2.57页，权重以CC…
MarkTechPost44 天前
★ 2
研究对比连续扩散语言模型与投机草稿模型的生成差距
论文在无验证条件下对比连续扩散语言模型 LangFlow 与投机草稿架构 DSpark 的马尔可夫头、循环头变体，全部从零训练做 OpenWebText 无条件生成。在去噪步数等于序列长度的默认设置下，LangFlow 在长度 128 与 1024 上两项指标均优于 DSpark 变体，DSpar…
arXiv NLP6 小时前
★ 2
论文提出 MDraft 多草稿在线策略蒸馏加速扩散投机解码
针对一步扩散草稿模型在并行起草时验证器反馈难以利用的问题，论文提出多草稿在线策略蒸馏方法 MDraft。该方法从同一上下文采样多个草稿块，跨前缀聚合验证器的全词表条件分布，缓解分布错配并提升草稿接受长度。MDraft 仅改训练不改架构与推理流程，可直接替换预训练检查点，在数学、代码与对话任务上优于…
arXiv NLP3 天前
★ 2
arXiv 论文提出 DISCO 通信高效分布式投机解码框架
DISCO 针对端-云协同 LLM 推理中投机解码的词汇表级通信开销问题，在服务端部署草稿小模型副本，使拒绝采样所需的草稿分布本地可得，仅传输草稿 token 索引与标量概率。在带宽受限场景下解码加速显著优于现有分布式投机解码方法。
arXiv cs.LG5 天前
★ 2
论文提出投机扩散双权衡，联合调参扩展速度-质量帕累托前沿
arXiv 论文研究投机扩散（speculative diffusion）中扩散努力程度与投机解码接受宽松度两个参数。实验表明联合调节二者，可在单步扩散起草之外进一步扩展速度与质量的帕累托前沿。该工作为扩散大模型作为草稿模型加速推理提供了新的调优视角。
arXiv cs.LG7 天前
★ 2
研究揭示投机解码中目标概率复用的效率提升条件
论文分析投机解码中目标模型验证产生的下一 token 分布能否用于选择下一轮草稿树。作者证明精确复用需在下一轮完整上下文上计算分布，并发现用当前上下文单独计算的分布对首 token 分支重排序可提升期望接受率，在树预算较小时尤为明显。代码已开源。
arXiv NLP11 天前
★ 2
研究：目标重生成大幅削弱投机解码草稿训练收益
论文考察投机解码中草稿训练目标带来的接受率增益在目标模型重写响应后还剩多少。实验显示蒸馏与验证门控在外部响应上增益很大，但经贪心重生成后蒸馏增益明显缩小、门控几乎归零，且该现象在多种数据顺序、验证器与解码温度下稳定存在。作者建议以目标重生成基线衡量目标收益。
arXiv NLP11 天前
★ 2
PolyGraph：面向自适应投机解码的计划缓冲 CUDA Graph
论文提出 PolyGraph，用计划缓冲机制让自定义 Triton 内核只捕获一张最大网格 CUDA Graph，每次重放前把活跃形状写入 GPU 显存。在单张英伟达 H800 上，以 Qwen2.5-3B 维度做原型，将 64 个形状专用图合并为 1 个，P50 步延迟与基线持平，图构建时间从 …
arXiv cs.LG13 天前
★ 2
arXiv 论文：LLM 隐状态层选择优化投机解码
论文提出基于信息量与多样性（矩阵熵与 CKA）的多层隐状态选择框架，用于投机解码，并引入 token 熵过滤。在 EAGLE3 风格投机解码中，所选层组合优于固定基线规则，并解释了默认选择为何仍有竞争力。
arXiv NLP21 天前
★ 2
DCOCO：投机解码并行草稿的上下文校正方法
论文提出 DCOCO（DFlash 上下文校正器），一种轻量机制，在保持并行草稿的同时恢复草稿块内 token 的依赖关系。它保留多个候选 token 并并行评估相邻草稿位置的上下文兼容性，实现低成本的上下文感知 token 选择。在四个验证器骨干与十个基准上，DCOCO 平均吞吐最高，较普通解码…
arXiv NLP21 天前
★ 2
混合专家模型中投机解码的边界研究
论文研究 MoE 模型投机解码中因专家加载依赖输入而导致的验证成本不稳定问题，将投机预算选择建模为离线随机最短路径问题。通过反事实模拟构建诊断 Oracle，在 Qwen3-Coder 与 EAGLE-3 组合上发现被拒候选形成严格线性边界。该结果为设计自适应在线启发式策略提供了数学参考点。
arXiv cs.LG41 天前