#解码加速

CADENCE 提出自适应解码：一次预测多 token 提速 1.3 倍

论文提出 CADENCE（上下文自适应解码）方法，用高斯预测头把未来片段表示为连续隐向量，并由学习到的路由器根据模型隐状态决定一次预测多长。在 Llama-3.1-8B-Instruct 上，Alpaca、GSM8K、HumanEval 实验显示生成吞吐比标准贪心解码最高提升 1.3 倍。