#上下文腐化

arXiv 研究：长上下文检索失败源于注意力竞争而非长度

论文在五个开源小模型上测试检索任务，发现中性填充文本几乎不影响准确率，但同格式的竞争性陈述会使准确率从 0.97 骤降至 0.16-0.33，单个竞争值使损失放大 9-110 倍。模型内部留在证据上的注意力质量可解释高达 58% 的损失方差，而长度仅解释 8%。作者认为上下文腐化本质是注意力竞争，…