Multi-token prediction（多词元预测）

传统语言模型每次仅预测下一个 token，训练信号稀疏且生成需串行解码。Multi-token prediction 让模型在每个位置预测未来 n 个 token，增加训练信号密度，提升样本效率。同时，推理时可并行生成多个 token，加速文本生成。Meta 在 2024 年提出的 Multi-token Prediction 方法在代码生成等任务上表现优异，且能提升模型规划能力。该技术正成为大模型训练的新趋势。