GPT（生成式预训练变换器）

GPT（Generative Pre-trained Transformer）由OpenAI提出，采用大规模无监督预训练加有监督微调的方式。其核心是Transformer解码器，通过自回归方式预测下一个词。随着参数规模扩大（如GPT-3的1750亿参数），模型展现出强大的少样本学习能力。GPT系列推动了NLP领域的发展，广泛应用于对话、写作、代码生成等。