Speculative Sampling（投机采样）

Speculative Sampling（投机采样）由DeepMind等机构于2022年提出，旨在解决自回归生成中逐词解码的串行瓶颈。其核心是使用一个轻量级草稿模型（draft model）快速生成多个候选token，然后由目标大模型（target model）并行计算这些token的概率，并通过接受-拒绝采样保证输出分布与目标模型一致。该方法能在不损失生成质量的前提下，将推理速度提升2-3倍，已成为大模型推理加速的主流技术之一。