技术

Self-Speculative Decoding(自推测解码)

自推测解码是一种加速大语言模型生成的技术,利用模型自身草拟多个 token 再并行验证,提升推理速度。

收录于 2026/9/17相关资讯 1 篇在词典中查看 →

详细解释

传统推测解码需额外的小模型草拟 token,而自推测解码让同一模型通过提前退出或跳跃层等方式快速生成候选 token,再由完整模型并行验证。若验证通过则接受多个 token,否则回退。这种方法无需辅助模型,节省内存,同时保持输出分布不变。实验表明,在文本生成任务中可提速 2-3 倍,尤其适合大模型部署。

别名与相关写法
self-speculative decoding

相关术语

LLM Inference共现 1 篇
Long-Context共现 1 篇

相关资讯

完整术语表见 AI 术语词典; 每日新术语与进展见 AI 早报。

Self-Speculative Decoding(自推测解码) 是什么?AI 术语解释 - 智讯 AI News