长上下文推理

传统Transformer的注意力复杂度随序列长度平方增长，且位置编码外推能力有限，导致长文档理解困难。长上下文推理依赖FlashAttention等高效注意力、RoPE位置插值、滑动窗口与检索增强等技术，配合“大海捞针”等评测检验信息召回。它在合同审阅、代码库分析、多文档问答等场景价值显著，但中间信息丢失与成本问题仍是挑战。