技术
Next-Token Prediction
语言模型根据上文预测下一个词元的基础训练目标，是生成式AI的核心机制。
详细解释
Next-Token Prediction 指模型在给定前文序列时，预测下一个词元（token）的概率分布，通常通过最大化似然估计进行训练。该目标源于统计语言建模，技术实现上采用Transformer等架构，通过自回归方式逐词生成文本，是GPT等大模型的基础训练范式。
别名与相关写法
next token prediction
语言模型根据上文预测下一个词元的基础训练目标，是生成式AI的核心机制。
Next-Token Prediction 指模型在给定前文序列时，预测下一个词元（token）的概率分布，通常通过最大化似然估计进行训练。该目标源于统计语言建模，技术实现上采用Transformer等架构，通过自回归方式逐词生成文本，是GPT等大模型的基础训练范式。