★ 3
RoPERelay：稀疏 KV 缓存的选择后位置几何优化
论文研究稀疏 KV 压缩中选择后位置几何对保留信息利用的影响，提出 RoPERelay，通过分配紧凑保序的 RoPE 坐标并重定位缓存键相位来改善答案质量。在 36 组对比中 32 组提升，Llama-3.1-8B-Instruct 在 LongMemEval-S 上准确率从 23.6% 升至 3…
arXiv NLP17 天前
#RoPE
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
AttnFuse：编译注意力为融合 GPU 内核的 DSL
论文提出 AttnFuse，一种面向注意力的组合式 DSL，将 RoPE 等乘法前变换作为一等操作，可编译为单个融合 GPU 内核。在 RTX 3090 上较 flex_attention 提速 2.10 倍，在 H100 上 Llama-3-8B 训练步与 PyTorch 手调后端差距在 5% …
arXiv cs.LG48 天前