推测解码

推测解码（Speculative Decoding）针对自回归生成中逐词解码的串行瓶颈，引入一个轻量级草稿模型快速生成多个候选token，然后由目标大模型并行验证这些token的接受概率。若候选被接受则跳过多次前向计算，否则回退。该方法能在不改变输出分布的前提下实现2-3倍加速，已成为大模型推理优化的重要方向。