Rotary Position Embedding

背景：Transformer本身无位置感知，早期用绝对位置编码，但外推能力弱。技术：RoPE把查询和键向量按维度两两分组，依据位置乘以不同频率的旋转角，使注意力分数只依赖相对位置差，天然具备相对位置性质。它支持通过调整旋转基数实现上下文长度外推，已被LLaMA、Qwen等模型采用，成为长上下文扩展的重要基础。