★ 3
研究：冻结解码器仅修复编码器可压缩KV缓存
论文指出在共享学习率下比较参数高效微调方案存在混淆偏差。作者在基于SVD的KV缓存压缩场景中发现，冻结解码器、仅修复编码器看似占优，但为每个方案单独调参后优势消失，仅编码器修复达到同等效果，且可训练参数和优化器状态内存均减少3倍。该结论在Qwen2.5-VL-3B-Instruct等模型上验证。
arXiv cs.LG24 天前
#KV缓存压缩
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
KV缓存压缩下关键词拒答率骤降但分类器仍稳定
研究发现在KV缓存压缩场景下，关键词启发式检测的拒答率从98.0%降至80.5%，而HarmBench分类器拒答率仍维持在99%以上，MMLU准确率不变。人类标注更倾向与分类器一致，表明存在「软拒答」现象。作者建议在压缩部署环境下进行安全审计时，应依赖多种与推理上下文匹配的判定器，而非仅凭关键词拒…
arXiv cs.LG34 天前
★ 3
StepKV：面向 LLM 智能体的步骤感知 KV 缓存压缩
针对多步 LLM 智能体，现有 KV 缓存剪枝把缓存当作扁平 token 流，与以推理步骤为单位的推理过程不匹配，导致早期关键观察被误删，作者称之为推理连续性中断。StepKV 将推理步骤作为一等保留单元，结合轨迹信号估计步骤效用并与 token 级显著性融合排序。在多跳问答与长程网页推理任务中，…
arXiv cs.LG41 天前