★ 3
InertiaKV：解码时KV驱逐的时间聚合与排序保持
研究发现解码时KV压缩中，指数移动平均聚合使评分函数修改在驱逐集层面几乎不可区分，而某些评分器会改变排序并导致性能下降。基于此提出InertiaKV及其周期性刷新变体，提升解码吞吐量1.34-1.46倍。还探索了无评分解码，仅首次评分并冻结排序，质量变化微小。
arXiv cs.AI59 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究发现解码时KV压缩中，指数移动平均聚合使评分函数修改在驱逐集层面几乎不可区分，而某些评分器会改变排序并导致性能下降。基于此提出InertiaKV及其周期性刷新变体，提升解码吞吐量1.34-1.46倍。还探索了无评分解码，仅首次评分并冻结排序，质量变化微小。