Autoregressive Transformer

自回归Transformer是GPT系列等语言模型的核心架构。它使用掩码自注意力确保每个位置只能关注之前的位置，从而建模序列的联合概率。训练时并行计算，推理时逐词生成，广泛用于文本生成、语音合成等任务。