技术
Self-Speculative Decoding(自推测解码)
自推测解码是一种加速大语言模型生成的技术,利用模型自身草拟多个 token 再并行验证,提升推理速度。
详细解释
传统推测解码需额外的小模型草拟 token,而自推测解码让同一模型通过提前退出或跳跃层等方式快速生成候选 token,再由完整模型并行验证。若验证通过则接受多个 token,否则回退。这种方法无需辅助模型,节省内存,同时保持输出分布不变。实验表明,在文本生成任务中可提速 2-3 倍,尤其适合大模型部署。
别名与相关写法
self-speculative decoding
相关术语
相关资讯
ASPIRE:面向长上下文LLM推理的异步批处理自推测解码2026/9/17