★ 4
Zyphra 提出 ZHA 层次树索引注意力，实现亚二次方扩展
论文提出 Zyphra Hierarchical Attention（ZHA），基于层次化树结构索引器在 KV 缓存上构建递归压缩的键摘要树，查询自顶向下遍历检索稀疏键子集，使含路由与最终注意力的总成本随序列长度亚线性增长。方法只需少量 token 的 KL 蒸馏即可用于现有预训练模型，并在长上下…
arXiv NLP5 小时前
#KV缓存
共 31 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
TierKV：面向端侧长上下文的多级 KV 缓存
针对移动端 LLM 长上下文场景中 KV 缓存成为内存瓶颈的问题，作者提出 TierKV 推理框架及其预测式多级缓存优化 PMCO。该方法在解码前从预填充隐状态预测未来缓存需求，将 token 分配到精确、低秩与闪存卸载三级，保留完整上下文并避免反应式淘汰的循环依赖。在三种移动 SoC 的八种模型…
arXiv cs.LG42 天前
★ 4
DeepSeek发布V4.1-Flash：1M上下文与FP4 KV缓存
DeepSeek 发布 DeepSeek-V4.1-Flash，针对长时程智能体带来的输入密集型负载设计。该多模态 MoE 模型拥有 552B 主干参数、196B Engram 参数与 100 万 token 上下文窗口，并引入 FP4 KV 缓存与跨层注意力复用，以缓解 HBM、SSD 容量与带…
MarkTechPost53 天前
★ 3
研究用 KV 缓存修补追踪微调行为产生的位置
论文通过将 LoRA 微调模型的 KV 缓存修补进原始基座模型（及反向操作），探究微调行为究竟在何处被实例化。结果显示，对德语回答、涌现性失准等行为，KV 缓存修补可将行为在微调模型与基座模型间转移或消除。修补效果随修补比例增大而增强，并集中于少数关键位置，系统提示与聊天模板 token 影响尤为…
arXiv NLP5 小时前
★ 3
RoLaQ：多头潜在注意力 2 比特 KV 缓存联合校准
论文提出 RoLaQ 离线方法，针对多头潜在注意力（MLA）的 2 比特 KV 缓存进行旋转与量化范围联合校准，在冻结的键值投影子空间内优化共享旋转并学习耦合的量化阈值与重建增益。在三个 MLA 模型与六个基准上取得最高平均准确率。在 DeepSeek-V2-Lite 上，SGLang 实现同等显…
arXiv cs.LG17 天前
★ 3
SAFE-KV：RAG 非前缀 KV 缓存复用的因果后缀修复
研究将 RAG 中的非前缀 KV 缓存复用形式化为行为保持问题，提出 SAFE-KV，通过从选定起始文档重新编码因果后缀来修复组合缓存。在 Qwen2.5-7B-Instruct 上，前缀条件组合仅保留 47.2%/37.8% 的完整预填充答案，SAFE-KV 可恢复至 99.8%/98.4%。
arXiv NLP19 天前
★ 3
KV-Repurpose：非前缀KV缓存复用评测系统开源
针对LLM推理中KV缓存复用通常局限于精确前缀的问题，研究者发布基于vLLM的开源系统KV-Repurpose，支持按段复用KV缓存。在Zipfian式RAG负载下，30GB缓存容量时其token级命中率达63.9%，远超前缀缓存的3.3%，显著降低首token延迟。实验同时揭示跨文档推理场景下朴…
arXiv NLP21 天前
★ 3
RaReCache：跨模型 KV 缓存复用选择性重算
论文提出 RaReCache 框架，通过基于秩不一致度的选择性重算，让大模型能准确解码由小模型预填充的 KV 缓存。在 Qwen3-0.6B 到 14B 的 23 倍参数差下，仅重算 30% 位置即可保留 95-99% 精度，并实现最高 3.04 倍预填充加速与显著降低首 token 延迟。
arXiv cs.AI24 天前
★ 3
SPIN：稀疏注意力影子预测索引器
论文提出SPIN（Shadow Predictive Indexer），用轻量级基于历史的预测识别重要KV块，避免每个解码步对完整KV缓存打分，从而降低索引器开销。在长上下文与智能体基准上实现30-40%稀疏度并保持任务质量，vLLM端到端服务吞吐提升最高14.9%，中位token间延迟降低最高1…
arXiv cs.LG25 天前
★ 3
KVFetch 提出 KV 缓存时序预取压缩框架
论文指出当前 KV 缓存压缩方法只实现按内容关联查找，忽略按位置顺序遍历，导致逐字复制在压缩中途断裂的「顺序遗忘」问题。作者提出免训练即插即用框架 KVFetch，为任意基于评分的压缩器开辟时序召回通道。在 RULER-16K 上逐字复制从 0.8 恢复至 78.4，13 项任务平均提升 8.4。
arXiv cs.LG25 天前
★ 3
CanonQ：W2A4KV2联合量化框架大幅降低困惑度
论文提出CanonQ量化感知训练框架，通过源规范化与任务自适应分离，实现权重、激活与KV缓存联合极低比特压缩。在LLaMA3系列W2A4KV2下WikiText-2困惑度最多降低14.28倍，零样本准确率提升57.9%。
arXiv cs.AI25 天前
★ 3
循环语言模型实现动态计算：FLOPs 与 KV 内存降 30%
论文针对循环语言模型（Looped LM）动态计算难以落地的问题，提出「best-available」KV 缓存策略，可在保持全深度性能的同时减少最多 30% 的 FLOPs 与 KV 内存。作者还修正了早退先验目标，使 token 能按难度在不同深度退出，并在 Ouro 模型上验证了效果。
arXiv cs.AI25 天前
★ 3
块扩散语言模型的掩码引导 KV 缓存淘汰
论文针对块扩散语言模型生成过程中 KV 缓存庞大、拖慢速度的问题，提出免训练的 MaskAhead 方法。它用单一掩码查询排序机制同时解决当前块的 KV 选择与未来块的淘汰，量化版本 Q-MaskAhead 直接从低位 KV 计算。在长提示问答任务上，MaskAhead 平均减少 9.5 倍 KV…
arXiv cs.LG26 天前
★ 3
AttSVD：注意力引导的低秩KV缓存压缩
论文提出AttSVD，一种基于每个提示自身注意力几何的可解释低秩KV缓存压缩方法，通过在线逐提示截断SVD仅保留注意力实际读取的方向。方法提出累积与流式两种解码缓存策略，以及能量规则与注意力感知基截断两项自适应改进。在多个模型、智能体基准与LongBench上，AttSVD在保持与稠密缓存相当性能…
arXiv cs.LG26 天前
★ 3
MOIRA：面向长上下文解码的稀疏注意力索引方案
研究者提出 MOIRA，一种在 vLLM 中免训练的稀疏解码路径，按 KV head 与层自适应分配注意力预算，仅保留覆盖注意力质量达 γ 比例的最少页面。配套的 self-planning attention 内核让每个线程块自行分配工作量，使整个解码步骤保持在 CUDA graph 内。在 H…
arXiv cs.AI27 天前
★ 3
循环Transformer共享记忆的意外有效性
循环Transformer通过重复使用同一组层增加算力而不增加参数，但每次递归都写入独立KV缓存，导致显存随算力增长。论文提出让循环语言模型共享记忆：仅首次递归写入缓存，后续递归读取并保留短窗口。在1.5亿至10亿参数规模下，混合变体在五次递归时相对同规模标准Transformer将FineWeb…
arXiv cs.LG28 天前
★ 3
异构多智能体LLM的免预填充KV缓存迁移
论文针对异构多智能体LLM系统中文本通信导致接收方重复预填充共享上下文的问题，提出HeteroFold免预填充跨模型族KV缓存迁移方法。该方法对齐模型结构、将发送方缓存映射到接收方空间并校准以保持接收方行为，同时冻结双方模型。在32K上下文下Llama-3.1-8B到Ministral-3-14B…
arXiv cs.AI34 天前
★ 3
接收方条件化潜通信压缩KV缓存
论文提出接收方条件化通信，让接收智能体向发送方传递信息需求描述，用以过滤压缩发送方的KV缓存。CacheBack是其免训练实现，基于发送方注意力权重。在FanOutQA上配合Qwen 3可移除75%的状态，准确率提升14.7个百分点，中位延迟降低3.2倍，并在多种模型架构上表现一致。
arXiv cs.AI34 天前
★ 3
PAGE：分区感知门控 KV 缓存淘汰
研究指出 KV 缓存淘汰方法只决定保留哪些 token，却不判断是否该淘汰，导致基准均值掩盖了压缩使准确率从 99% 崩至 0% 的输入类别。PAGE 用预填充注意力中 top-k 头一致性的早期到晚期下降这一无标签标量，在解码前预测输入类别并决定是否启用淘汰。作为保护机制，PAGE 将容量受限场…
arXiv cs.LG41 天前
★ 3
ASPIRE：面向长上下文LLM推理的异步批处理自推测解码
论文提出ASPIRE，一种非同步批处理自推测解码框架，解决现有批处理方法中所有请求共享统一草稿-验证调度的问题。其三大组件包括统一混合前向、在线推测调度器与草稿内刷新层。在三个模型、五个推理与长上下文基准上，解码吞吐较自回归基线提速1.70至4.58倍，较最强先前自推测基线平均提速约27%。
arXiv cs.LG46 天前
★ 3
Fathom：面向卸载KV缓存的按查询读取深度稀疏解码
论文提出Fathom，一种按查询动态决定读取多少位键通道的稀疏解码方法。4位K缓存以位平面方式按通道存储，查询通过反向注水分配比特预算。在Qwen3-8B百万token场景下，解码步骤比136位扫描快1.67倍，且以更少字节达到更低注意力误差。
arXiv cs.LG46 天前
★ 3
文档编辑后陈旧KV缓存的有预算修复
论文将KV缓存原地修复形式化为有预算重计算问题，在事实性RAG基准上比较多种免训练位置选择策略。结果显示连续编辑局部窗口在派生编辑场景下至少恢复0.94的答案余量，显著优于注意力、KV偏差与结构选择器，且修复速度比全量重预填充快13-21倍。
arXiv cs.AI46 天前
★ 3
DeepSeek-v4.1 Flash 推进 KV 缓存压缩极限
DeepSeek-v4.1 Flash 聚焦 KV 缓存压缩，试图在长上下文推理中突破显存与效率瓶颈。该话题在 Hacker News 引发讨论。
Hacker News46 天前
★ 3
闪存内计算实现LLM推理
论文针对LLM推理中内存带宽瓶颈，设计可在Flash存内计算设备上运行的推理算法。采用端到端整数量化消除浮点运算，并基于稀疏字典编码压缩KV缓存以应对写入寿命限制。在Llama-3.1-8B和Qwen-2.5-7B上，动态KV缓存流量降低15倍且精度损失有限。
arXiv cs.LG47 天前
★ 3
固定大小缓存如何支撑块扩散模型规模化推理
研究探索块扩散语言模型的缓存机制，提出用序列混合器将已完成块汇总为可复用状态，配合块因果训练目标使缓存精确。在 300B token 上预训练三个 3B 块扩散去噪器（注意力、Mamba、混合），仅状态空间缓存为 O(1)。在 256k token 下，Mamba 缓存延迟降低 4.3 倍、内存减…
arXiv cs.LG49 天前
★ 3
KV缓存拼接感知微调与选择性重算结合方案
针对 RAG 长上下文场景中首字延迟（TTFT）高的问题，论文提出兼顾 KV 缓存拼接的微调与选择性重算 KV 缓存的组合方法。在 RULER 基准上，124k token 输入下 RULER 分数较仅重算基线提升 9.7 分，TTFT 相比全注意力降低 80%。
arXiv cs.LG53 天前
★ 3
GrowPage：按需KV预算提升LLM推理效率
GrowPage是一个按需KV缓存预算框架，将KV容量视为运行时资源，通过双时间尺度查询摘要估计需求变化，并在容量边界压缩或获取额外物理页。与PagedAttention集成，保持连续批处理和前缀缓存。实验显示，在推理基准上实现了更优的性能-吞吐量权衡。
arXiv cs.AI59 天前
★ 3
HeadWiseKV：混合长上下文模型的预算化逐头缓存驻留
HeadWiseKV是一种无需训练的框架，通过压缩混合语言模型的全局KV缓存来降低GPU内存消耗。在Qwen3.6-27B上，该方法在112K上下文长度下减少峰值内存8.59%，并将最大验证上下文从114K扩展到161K。
arXiv cs.AI60 天前
★ 3
LLM注意力混合精度量化框架
提出HyQuant，一种用于LLM注意力的高效混合精度量化框架，保留关键垂直线和局部窗口高精度。在多种任务和模型上保持几乎无损精度，提升效率。
arXiv cs.AI63 天前
★ 2
开发者用 Rust 写 LLM 上下文垃圾回收器 contextWatcher
开发者发布 Rust 编写的本地代理 contextWatcher（cw），针对 LLM 上下文膨胀问题做“垃圾回收”。它通过文件读取影子去重、工具输出裁剪、尾部规则固定和子代理前缀复用，避免 /compact 摘要破坏工作记忆与 KV 缓存。在双 AMD GPU 本地环境约 28k 上下文下，预…
Hacker News – LLM4 天前