★ 3
残差向量重建实现超上下文窗口长文本召回
LLM 处理长文档与长对话时，token 级显存占用随输入长度线性增长，模型优化与有损提示压缩仍无法突破预训练与尺寸受限的上下文窗口。论文提出一种无需额外训练的长上下文召回方法：利用前馈层中存储事实残差向量的参数激活来重建事实，从而在不参考原文、不微调权重的情况下确定性地重建查询相关事实。实验表明…
arXiv cs.AI49 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
LLM 处理长文档与长对话时，token 级显存占用随输入长度线性增长，模型优化与有损提示压缩仍无法突破预训练与尺寸受限的上下文窗口。论文提出一种无需额外训练的长上下文召回方法：利用前馈层中存储事实残差向量的参数激活来重建事实，从而在不参考原文、不微调权重的情况下确定性地重建查询相关事实。实验表明…