★ 3
MoEZip 论文：面向稀疏 MoE 大模型的路由感知 KV 缓存压缩
arXiv 新论文提出 MoEZip，针对稀疏混合专家（MoE）大模型做路由感知的 KV 缓存压缩，解决 KV 驱逐会改变专家选择、损害生成质量的问题。方法基于路由分布的 Fisher 信息矩阵衡量敏感度，在 10% 缓存保留率下于 LongBench 与 RULER 上平均领先 SoTA 基线 …
arXiv cs.LG10 天前
#KV 缓存压缩
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
arXiv 论文提出 GAIM 与 Q-DAIM 两种 KV 缓存压缩方法
该论文将注意力上下文压缩问题形式化到核函数对应的希尔伯特空间中，提出基于广义经验插值（GEIM）和 Q-DEIM 的两种 KV 缓存压缩方法 GAIM 与 Q-DAIM。作者进一步用泰勒展开、Performer 和随机傅里叶特征构造代理模型，把压缩成本从二次降到线性，并扩展到流式注意力场景。Lon…
arXiv cs.LG4 小时前
★ 2
EdgeLLM-Nano：33.6MB 端侧模型的 KV 缓存压缩审计
研究以 8.39M 参数（33.6MB）的端侧解码器模型为测试台，系统审计 KV 缓存压缩方法。结果对极坐标引导键缓存量化与一致性锚定渐进剪枝给出负面结论，并提出 Long-Context Decode Fidelity 评估，比困惑度更能区分不同压缩后端。
arXiv NLP19 天前