RoPE（旋转位置编码）

RoPE（Rotary Position Embedding）由苏剑林等人于2021年提出，通过将查询和键向量视为复数，并乘以随位置变化的旋转矩阵来编码绝对位置，同时使注意力分数自然包含相对位置信息。相比绝对位置编码，RoPE 具有更好的外推性，能处理比训练时更长的序列，且不增加额外参数。它已被广泛应用于 LLaMA、GPT-NeoX 等大语言模型中。