★ 3
RoLaQ：多头潜在注意力 2 比特 KV 缓存联合校准
论文提出 RoLaQ 离线方法，针对多头潜在注意力（MLA）的 2 比特 KV 缓存进行旋转与量化范围联合校准，在冻结的键值投影子空间内优化共享旋转并学习耦合的量化阈值与重建增益。在三个 MLA 模型与六个基准上取得最高平均准确率。在 DeepSeek-V2-Lite 上，SGLang 实现同等显…
arXiv cs.LG17 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 RoLaQ 离线方法，针对多头潜在注意力（MLA）的 2 比特 KV 缓存进行旋转与量化范围联合校准，在冻结的键值投影子空间内优化共享旋转并学习耦合的量化阈值与重建增益。在三个 MLA 模型与六个基准上取得最高平均准确率。在 DeepSeek-V2-Lite 上，SGLang 实现同等显…