★ 4
Universal Attention：KV 缓存 25 倍压缩
arXiv 论文提出 Universal Attention 架构，用复合衰减机制统一并扩展基于衰减的 KV 缓存剪枝方法，保留 RoPE 与 Softmax 注意力。该机制充当自适应剪枝准则，在自然语言与合成任务上实现 10 倍压缩并提升下游性能，长上下文 16k 长度下达到 25 倍压缩。
arXiv cs.LG25 天前
#KV 缓存
共 23 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
KITE：面向高效智能体 LLM 扩展的 KV 不变 Transformer 扩展
论文提出 KV 不变 Transformer 扩展（KITE），通过 upcycling 从小模型扩展到大模型，并将新增参数放在不影响注意力 KV 的区域，从而同时节省训练与推理成本。具体实例 Step Scale Transformer（SST）为 67B MoE 模型，每解码 token 仅 …
arXiv cs.LG39 天前
★ 3
ASTC：面向长程 LLM 智能体的模型内软 Token 上下文压缩
论文提出免训练的 Agentic Soft-Token Compression（ASTC），利用模型原生循环动态判断已吸收信息，以软 Token 前传、硬 Token 保留精确值，从而减少后续层计算并复用 KV 缓存。在长程任务上，ASTC 在端到端 Attention Pairs 减少最多 50…
arXiv NLP8 小时前
★ 3
GAAC 无损 KV 缓存压缩加速个人设备长上下文推理
论文提出 Group-Adaptive Additive Codec（GAAC），利用指数冗余实现 BF16 KV 缓存的无损压缩，压缩比约 1.41 倍，并配合融合注意力核在线重建。在 NVIDIA DGX Spark 上 64K 上下文解码注意力加速 1.19-1.27 倍，常驻 KV 内存降…
arXiv cs.AI3 天前
★ 3
WAKMan：按负载自适应选择 KV 缓存淘汰策略
论文提出 WAKMan，一种负载感知的 KV 缓存管理器，可在不读取请求类型与提示内容的情况下，依据实时流量动态切换淘汰策略。作者发现智能体类请求偏好近因、长对话与热门提示偏好频率，20 种混合负载下没有单一最优策略。WAKMan 相比 vLLM 默认 LRU 平均提升 5 个百分点命中率，且平均…
arXiv cs.AI5 天前
★ 3
GLM-5.3 Workers AI 模型被曝跨请求 KV 缓存泄露
Hacker News 讨论指出，GLM-5.3 Workers AI 模型存在跨请求 KV 缓存暴露问题，可能使不同用户请求间的缓存数据发生泄露。该帖获得 54 分热度与 8 条评论，引发对推理服务缓存隔离与多租户安全的关注。
Hacker News6 天前
★ 3
研究：LLM 答案来源归因取决于作答时 KV 缓存
论文通过干预模型生成答案后、被问及来源前的 KV 缓存，研究 LLM 如何报告答案出处。在 7B-32B 四个模型上，改动或删除文档缓存从不改变来源报告，而移植问答缓存则使报告完全跟随供体。沿拟合方向操控问答值可逆转 98.9-100% 的报告，说明来源报告因果依赖于作答时产生的缓存状态。
arXiv NLP7 天前
★ 3
arXiv 提出 RIFT：草稿模型 KV 缓存压缩，Qwen3.5 保留 98% 接受长度
论文针对投机解码中草稿模型的 KV 缓存压缩问题，提出「解码陈旧性」现象并给出 RIFT 系列基于选择策略的压缩方法，平衡预填充信息与近期生成 token。配合基于稀疏注意力掩码的可压缩性训练，Qwen3.5-4B 为 Qwen3.5-122B 起草时，在 32K 输入、8K 缓存预算下保留超 9…
arXiv NLP10 天前
★ 3
arXiv 论文提出 KVLearn：分离式 LLM 服务中的 KV 缓存保留学习框架
针对分离式 LLM 推理中缓存未命中需跨节点传输的问题，论文提出 KVLearn 框架，包含前缀复用预测器 PRP、成本感知保留评分 CARS 与自适应阈值控制器 ATC。在文本与多模态负载上，首 Token 时延相比无缓存降低最多 56%、相比 LRU-Pool 降低 38%，跨节点 KV 传输…
arXiv cs.LG11 天前
★ 3
PeekKV 用单 token 探测实现按注意力头分配 KV 缓存
KV 缓存随上下文线性增长成为 LLM 推理内存瓶颈。研究观察到 decode 阶段活跃注意力头在内容 token 间保持稳定，据此提出 PeekKV：在 prefill 后观察单个内容 token，联合获取头组得分与 token 重要性得分，按比例分配缓存预算。无需离线分析或训练，在 Llama…
arXiv cs.LG13 天前
★ 3
FPA：以路径极值替代求和的遗忘门注意力机制
论文提出 First Passage Attention（FPA），将遗忘门注意力的路径求和改为路径极值，按学习标量场在区间内的最深下探成比例降低键的 logit，从而选择性擦除中间上下文而保留更早的结构相关 token。FPA 将 Forgetting Transformer 作为特例，理论上常…
arXiv NLP14 天前
★ 3
综述：大模型长上下文的选择性记忆压缩
该综述将长上下文压缩重新定义为推理时的内存管理问题，区分参与计算的活跃内存与可存储检索的非活跃内存。文章把写入、卸载、召回、淘汰、遗忘等操作建模为信息生命周期中的状态转换，并提出统一成本模型。作者认为核心挑战在于决定哪些信息、何时、以何种形式参与昂贵推理。
arXiv NLP17 天前
★ 3
RoPERelay：稀疏 KV 缓存的选择后位置几何优化
论文研究稀疏 KV 压缩中选择后位置几何对保留信息利用的影响，提出 RoPERelay，通过分配紧凑保序的 RoPE 坐标并重定位缓存键相位来改善答案质量。在 36 组对比中 32 组提升，Llama-3.1-8B-Instruct 在 LongMemEval-S 上准确率从 23.6% 升至 3…
arXiv NLP17 天前
★ 3
arXiv 论文：AbridgeKV 将长推理压缩进 KV 缓存
AbridgeKV 通过训练模型把已生成文本块压缩为少量学习到的暂停 token 的 KV 条目，从而释放原始缓存。在 AIME 等 446 道竞赛题上，保留四分之一缓存即可匹配全 KV 模型精度与输出长度。在 vLLM 中部署后每序列缓存缩小 3.5 倍，H100 完成问题快 3.2 倍。
arXiv NLP17 天前
★ 3
JSSA 稀疏注意力提升长上下文解码效率
论文提出联合子空间稀疏注意力（JSSA），通过学习共享低维查询-键子空间提升 token 级选择质量，并开发无 gather 的索引注意力内核。在 GQA、滑动窗口/全局混合注意力及 MLA 模型上，JSSA 保持接近全 KV 的精度，在 NVIDIA B200 上 128K 上下文解码吞吐最高达…
arXiv NLP18 天前
★ 3
Kronecker 乘积注意力：结构化分解压缩 KV 缓存
论文提出 Kronecker Product Attention（KPA），将键值激活表示为紧凑、依赖 token 的矩阵因子之 Kronecker 乘积和。KPA 严格泛化 TPA，并配合结构化旋转嵌入保持 RoPE 相对位置性质。在四个模型规模、九个下游基准上匹配或超越 MHA、MQA、GQA…
arXiv cs.LG21 天前
★ 3
KITE：面向任务的关键层 KV 通信多智能体协作
论文提出 KITE，一个免训练的任务导向关键层 KV 通信框架，用于提升潜在多智能体协作效率。它从接收端任务充分性出发，仅传输关键层的潜在工作记忆，在七个基准上通信量减少 28-36 倍，端到端推理最高提速 3 倍，准确率最高提升 23.3 个百分点。
arXiv cs.LG25 天前
★ 3
SoloQ：扩散语言模型免校准量化
论文提出 SoloQ，一种免校准量化框架，将权重与激活映射到归一化旋转基，使其边缘分布可预测，从而实现数据无关量化。SoloQ 结合结构化 K-RPBH 旋转与轻量重缩放校正，支持分布匹配码本与硬件原生 NVFP4，并对块扩散模型采用提交时 KV 缓存量化。在 LLaDA、Dream 等模型上，S…
arXiv cs.LG26 天前
★ 3
PastForward：端侧 GUI 智能体加速方案
针对 GUI 智能体在边缘设备上推理成本高的问题，研究提出 PastForward，通过复用普通任务执行中积累的计算经验来加速。它在解码阶段检索历史输出序列作为多 token 提议并单次前向验证，同时跨动作步复用 KV 状态。在 AndroidWorld 上实现 1.63 至 2.36 倍延迟加速…
arXiv cs.AI34 天前
★ 3
论文提出弹性阈值注意力实现长上下文稀疏解码
论文提出弹性阈值注意力（ETA），一种端到端可训练架构，从查询表示中预测动态上下文阈值，在困难检索或推理步骤保留稠密上下文、剪除常规 token。1.45B 模型在约 85% 训练稀疏度下媲美稠密注意力，Triton 定制内核在 512K 序列上实现最高 2.5 倍解码加速。
arXiv cs.LG42 天前
★ 2
论文提出 UlaCache：稀疏 LLM 推理的统一逻辑寻址
一篇 arXiv 论文提出 UlaCache，用统一逻辑寻址方式管理稀疏 LLM 推理中的 KV 缓存，目标是提升缓存复用与内存效率。该工作面向大模型服务系统的显存瓶颈问题，属于推理加速方向的系统研究。
Hacker News – LLM1 天前
★ 2
FAD-KV 提出自适应字典 KV 缓存压缩加速推理
针对字典式稀疏 KV 压缩在解码时稀疏编码开销大、静态字典与分布漂移不匹配、自适应更新导致字典膨胀的问题，论文提出 FAD-KV，采用一次性 Top-n 筛选加轻量系数精修的稀疏编码，以及复用闲置原子的固定大小字典自适应机制。在推理与长上下文基准上取得较优质量-效率权衡。
arXiv NLP3 天前
★ 2
Corbenic AI 开源 Galahad：为 AI 提供 5000 万 token 长期记忆层
Corbenic AI 发布开源项目 Galahad，定位为 AI 的记忆层，可缓存模型对文本的读取结果，避免 GPU 重复处理同一文本，并支持按问题定位文档相关片段。Galahad 采用 C++ 核心，可运行于 llama.cpp、vLLM 和 SGLang，已在 10 个家族 30 个开源模型…
Hacker News – AI22 天前