Context Compaction（上下文压缩）

随着大语言模型上下文窗口增长，注意力机制的计算和内存开销呈二次方增长。Context Compaction 旨在动态压缩上下文，保留关键信息。方法包括：基于注意力分数的令牌淘汰（如 H2O）、滑动窗口与注意力汇（如 StreamingLLM）、以及学习压缩表示（如 Gist 令牌）。这些技术减少了 KV 缓存大小，提升了推理速度，同时尽量保持模型性能。该方向对于实现高效长上下文建模至关重要，并已应用于实际系统如长文档摘要和持续对话。