上下文窗口（Context Window）

上下文窗口大小受模型架构和计算资源限制。传统Transformer注意力机制计算复杂度随长度平方增长，因此扩展窗口需高效注意力技术如稀疏注意力、线性注意力。长上下文使模型能处理书籍、代码库等，但可能面临中间信息丢失问题。扩展上下文窗口是当前大模型竞争焦点之一。