#KV 复用

共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 3

RECAP:面向多模态投机解码的上下文感知预测复用

论文指出视觉语言模型中按末位 token 索引预测复用会在图像敏感的解码状态失效,提出 RECAP,用一至三 token 键存储目标模型预测,区分请求内上下文记忆与跨请求持久记忆,并以熵置信加权与最佳优先搜索构建候选树。在 Qwen2.5-VL-7B 与 LLaVA-1.6-7B 上无需训练即取得…

arXiv cs.AI6 小时前

这个主题的相关资产

相关公司阿里巴巴1

相关标签

KV 复用 最新资讯与动态(1 篇) - 智讯 AI News