★ 3
文档编辑后陈旧KV缓存的有预算修复
论文将KV缓存原地修复形式化为有预算重计算问题,在事实性RAG基准上比较多种免训练位置选择策略。结果显示连续编辑局部窗口在派生编辑场景下至少恢复0.94的答案余量,显著优于注意力、KV偏差与结构选择器,且修复速度比全量重预填充快13-21倍。
arXiv cs.AI46 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文将KV缓存原地修复形式化为有预算重计算问题,在事实性RAG基准上比较多种免训练位置选择策略。结果显示连续编辑局部窗口在派生编辑场景下至少恢复0.94的答案余量,显著优于注意力、KV偏差与结构选择器,且修复速度比全量重预填充快13-21倍。