arXiv cs.LG·13 天前★ 3

arXiv 提出 DScout,优化扩散草稿模型投机解码吞吐

原文标题:Factorization-Guided Training and Inference for Diffusion-Drafted Speculative Decoding

重要度 3/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。

AI 智能摘要

论文提出 DScout,用训练端与推理端两种分解指导扩散草稿模型的投机解码。训练端把逐位置损失分解为包含、加权与预测损失以对齐前缀接受;推理端把吞吐分解为平均接受 数与单轮延迟之比来选择配置。在 与 上分别取得 3.84 倍与 4.14 倍平均加速,较最优基线再提升 9.1% 与 7.1%。

深读 · 结论先行AI 生成展开看要点与影响 ↓

DScout 双端分解优化扩散草稿投机解码, 上平均加速 4.14 倍

  • •指出更高平均接受 token 数(MAT)不等于更高吞吐:早期拒绝使后续正确预测失效,单轮延迟上升也会抵消收益
  • •训练端把逐位置损失分解为包含、加权、预测损失,配合混合视野训练、块内解掩码与接受加权损失
  • •推理端把吞吐分解为 MAT 与单轮延迟之比,用于选择目标条件深度、草稿深度与推理块大小
  • •六个基准上 Qwen3-4B 与 Qwen3-8B 分别加速 3.84 倍与 4.14 倍,较最优基线再提升 9.1% 与 7.1%

为什么重要:把「接受率」与「吞吐」解耦,为扩散草稿模型的调参提供了可操作的指标框架,直接影响投机解码的落地收益。

以上深读由 AI 依据标题/摘要/正文节选生成,仅供参考;事实以原文为准。

阅读原文 +0
AI 处理过程展开/收起
原始标题:Factorization-Guided Training and Inference for Diffusion-Drafted Speculative Decoding
AI 中文标题:arXiv 提出 DScout,优化扩散草稿模型投机解码吞吐
来源:arXiv cs.LG · 发布于 13 天前
分类:大模型 · AI 重要度:★ 3(3)
标签:投机解码 / 推理加速 / 扩散模型 / 论文
关键词:投机解码 加速 / 扩散草稿模型 / LLM 推理加速 / Qwen3 推理优化
AI 处理:2026/10/20 15:02:19 · 模型 deepseek-chat · 规则版本 2026-10-10.1
AI 生成以上内容由 AI 自动生成:中文标题、摘要、分类与重要度;同一事件的多家报道会自动归并展示。 内容仅供参考,可能存在偏差,请以原文为准, 不构成任何投资或专业建议。
版权归原作者与原发布平台所有;若涉及侵权或信息错误,请在举报与侵权投诉页反馈,我们会及时处理。
每天 09:30,3 条 AI 圈真正重要的变化,免费订阅 →
arXiv 提出 DScout,优化扩散草稿模型投机解码吞吐 - 智讯 AI News