★ 2
arXiv 论文提出 GAIM 与 Q-DAIM 两种 KV 缓存压缩方法
该论文将注意力上下文压缩问题形式化到核函数对应的希尔伯特空间中，提出基于广义经验插值（GEIM）和 Q-DEIM 的两种 KV 缓存压缩方法 GAIM 与 Q-DAIM。作者进一步用泰勒展开、Performer 和随机傅里叶特征构造代理模型，把压缩成本从二次降到线性，并扩展到流式注意力场景。Lon…
arXiv cs.LG4 小时前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该论文将注意力上下文压缩问题形式化到核函数对应的希尔伯特空间中，提出基于广义经验插值（GEIM）和 Q-DEIM 的两种 KV 缓存压缩方法 GAIM 与 Q-DAIM。作者进一步用泰勒展开、Performer 和随机傅里叶特征构造代理模型，把压缩成本从二次降到线性，并扩展到流式注意力场景。Lon…