★ 3
arXiv 论文：AbridgeKV 将长推理压缩进 KV 缓存
AbridgeKV 通过训练模型把已生成文本块压缩为少量学习到的暂停 token 的 KV 条目，从而释放原始缓存。在 AIME 等 446 道竞赛题上，保留四分之一缓存即可匹配全 KV 模型精度与输出长度。在 vLLM 中部署后每序列缓存缩小 3.5 倍，H100 完成问题快 3.2 倍。
arXiv NLP17 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
AbridgeKV 通过训练模型把已生成文本块压缩为少量学习到的暂停 token 的 KV 条目，从而释放原始缓存。在 AIME 等 446 道竞赛题上，保留四分之一缓存即可匹配全 KV 模型精度与输出长度。在 vLLM 中部署后每序列缓存缩小 3.5 倍，H100 完成问题快 3.2 倍。