KV Cache Eviction

KV Cache是自回归生成时缓存的历史键值对，用于避免重复计算。但随着序列增长，缓存占用大量显存。Eviction策略根据注意力权重或最近使用情况淘汰部分缓存，平衡内存与精度。常见方法有H2O、滑动窗口等，可提升长文本推理效率。