arXiv cs.AI阿里巴巴·60 天前★ 3

HeadWiseKV：混合长上下文模型的预算化逐头缓存驻留

原文标题：HeadWiseKV: Budgeted Per-Head Cache Residency for Hybrid Long-Context Language Models

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

HeadWiseKV是一种无需训练的框架，通过压缩混合语言模型的全局KV缓存来降低GPU内存消耗。在Qwen3.6-27B上，该方法在112K上下文长度下减少峰值内存8.59%，并将最大验证上下文从114K扩展到161K。

论文速读 · 四段结构cs.LG去论文速读 →

问题: 混合长上下文模型解码时全局KV缓存持续增长，占用大量GPU显存并拖慢生成。
方法: 训练无关框架HeadWiseKV，为每个物理KV头分配静态多级历史窗口，用SeqCalib按执行顺序生成策略，并以分组缓存运行时真实落地。
结果: 在Qwen3.6-27B上112K上下文时峰值显存降低8.59%，最大验证上下文从114K扩展到161K，RULER与LoCoMo质量接近全量KV。
影响: 不改模型即可扩展长上下文服务窗口并省显存，为长文本推理部署提供可直接套用的缓存预算方案。