技术
Long-Context（长上下文）
Long-Context 指大模型处理超长文本序列（如数十万 token）的能力，解决传统模型因上下文窗口有限而无法理解长文档、多轮对话的问题，典型应用包括长文档摘要、代码库分析，代表工作有 GPT-4 Turbo 的 128K 上下文和 Claude 3 的 200K 上下文。
详细解释
Transformer 的自注意力机制计算复杂度随序列长度平方增长，导致长上下文处理成本高昂。技术突破包括稀疏注意力、滑动窗口、位置插值（如 RoPE 扩展）和记忆压缩。Long-Context 模型能一次性处理整本书或大型代码库，提升任务连贯性。但存在“迷失中间”现象，即对中间信息召回率低。当前研究致力于高效注意力机制和长上下文评测基准（如 LongBench）。
别名与相关写法
long-context
相关术语
相关公司
相关资讯
TierKV：面向端侧长上下文的多级 KV 缓存2026/9/21
LazyFlash 提出前向稠密反向稀疏注意力，长上下文微调提速 1.7 倍2026/10/26
arXiv 论文提出长上下文持续预训练缩放定律2026/10/22
研究：长上下文草稿生成无需长上下文草稿模型2026/10/16
JSSA 稀疏注意力提升长上下文解码效率2026/10/15
MOIRA：面向长上下文解码的稀疏注意力索引方案2026/10/6
SMat-Attention：结构化长上下文序列建模2026/9/30