Context Compression（上下文压缩）

上下文压缩旨在处理超长序列时，减少自注意力机制的二次复杂度。方法包括：稀疏注意力（如Longformer的滑动窗口）、分块循环（如Transformer-XL的片段递归）、池化或摘要（如压缩记忆）、以及检索增强（只关注相关部分）。这些技术可降低内存占用、加速推理，并扩展模型的有效上下文窗口。评估指标包括压缩率、任务性能保持度。挑战在于平衡压缩率与信息损失，以及适应不同任务。