#大模型效率

EchoKV：用迭代查询反馈实现自纠正 KV 缓存淘汰

论文指出 KV 缓存淘汰不只是 token 排序问题，用于生成淘汰查询的工作区本身决定查询质量，早期工作区误差会放大错误决策。作者提出 EchoKV，用未来解码位置的提案初始化工作区，再用早期解码查询迭代修复，在 LongBench 的多跳跨文档问答等任务上优于 LAQ。