★ 3
Kronecker 乘积注意力：结构化分解压缩 KV 缓存
论文提出 Kronecker Product Attention（KPA），将键值激活表示为紧凑、依赖 token 的矩阵因子之 Kronecker 乘积和。KPA 严格泛化 TPA，并配合结构化旋转嵌入保持 RoPE 相对位置性质。在四个模型规模、九个下游基准上匹配或超越 MHA、MQA、GQA…
arXiv cs.LG21 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Kronecker Product Attention（KPA），将键值激活表示为紧凑、依赖 token 的矩阵因子之 Kronecker 乘积和。KPA 严格泛化 TPA，并配合结构化旋转嵌入保持 RoPE 相对位置性质。在四个模型规模、九个下游基准上匹配或超越 MHA、MQA、GQA…