技术
Positional Encoding（位置编码）
Positional Encoding是一种在Transformer等模型中注入序列位置信息的技术，解决自注意力机制本身无法感知顺序的问题。它通过正弦函数或可学习向量表示位置，广泛应用于NLP和视觉任务，代表工作如原始Transformer和BERT。
详细解释
自注意力对输入序列的排列具有等变性，若不注入位置信息，模型无法区分“猫追狗”和“狗追猫”。Positional Encoding通过将位置索引映射为向量并与词嵌入相加，使模型能利用顺序。原始Transformer使用不同频率的正弦和余弦函数，可外推到更长序列；后续工作如BERT采用可学习位置嵌入，但受限于最大长度。此外，相对位置编码（如Transformer-XL）和旋转位置编码（RoPE）进一步提升了长序列建模能力。
别名与相关写法
positional encodingPositional Encoding位置编码Position Encoding
相关术语
相关资讯
LayerRoPE：Transformer 深度位置编码新方法2026/10/8
T-RoPE：面向序列推荐的时间感知旋转位置编码2026/9/28
PEBDSAM：基于位置编码的可变形图神经网络2026/9/15