Speculative Decoding（投机解码）

投机解码利用小模型（草稿模型）自回归生成K个候选token，然后大模型一次前向计算验证这些token的接受概率，接受则保留，否则重采样。由于大模型并行验证比串行生成快，整体加速2-3倍且输出分布不变。技术关键是小模型与大模型分布接近。代表工作有Leviathan等人2023年的Speculative Decoding、Google的Medusa。