技术
Context Scaling（上下文扩展）
Context Scaling指扩展大语言模型上下文窗口长度的技术，使模型能处理更长的文本（如整本书）。它解决长文档理解、多轮对话记忆等问题，典型应用包括GPT-4 Turbo的128K上下文、Claude的100K上下文，代表工作有稀疏注意力、位置插值等。
详细解释
传统Transformer的注意力机制计算复杂度随序列长度平方增长，限制上下文长度。Context Scaling通过算法优化（如稀疏注意力、线性注意力）、位置编码改进（如RoPE插值、ALiBi）和内存管理，将上下文扩展至数十万token。这提升了模型在长文本摘要、问答等任务的表现，但可能增加计算成本。
别名与相关写法
context scaling