★ 4
更多GPU还是更小缓存？张量并行与KV压缩对比
研究将张量并行和KV压缩配置放在同一成本轴上比较，发现压缩在成本上便宜1.2到2倍，而张量并行是改善延迟的唯一杠杆。模型大小与设备内存的边界约在36B参数，低于此压缩占优，高于此张量并行成为必需。
arXiv cs.AI68 天前
#KV压缩
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
InertiaKV：解码时KV驱逐的时间聚合与排序保持
研究发现解码时KV压缩中，指数移动平均聚合使评分函数修改在驱逐集层面几乎不可区分，而某些评分器会改变排序并导致性能下降。基于此提出InertiaKV及其周期性刷新变体，提升解码吞吐量1.34-1.46倍。还探索了无评分解码，仅首次评分并冻结排序，质量变化微小。
arXiv cs.AI59 天前
这个主题的相关资产
相关公司英伟达（Nvidia）1