Encoder（编码器）

Encoder通常由多层神经网络组成，通过非线性变换将高维输入压缩为低维嵌入。在Transformer中，编码器包含自注意力与前馈网络，并行处理整个序列，捕获全局依赖。BERT使用多层Transformer编码器进行预训练，学习双向上下文表示。在自编码器中，编码器与解码器协同，用于降维和去噪。编码器是许多AI系统的核心，如机器翻译和图像识别。