技术
Sequence Logits（序列logits）
序列logits是神经网络对序列中每个位置输出的未归一化预测分数，解决序列生成任务中下一个词或标记的概率建模问题。它通过softmax转换为概率分布，用于文本生成、语音识别等。典型应用包括GPT系列模型的输出层。
详细解释
在序列生成模型中，logits是最后一层线性变换的输出，维度为词表大小。训练时使用交叉熵损失，推理时通过采样或束搜索生成序列。logits的温度参数控制分布的平滑度，影响生成多样性。在Transformer架构中，logits计算与注意力机制结合，支持并行处理。近年来，logits被用于知识蒸馏、对比学习和校准研究，例如通过logit匹配提升小模型性能。
别名与相关写法
sequence logits