★ 3
GrowPage：按需KV预算提升LLM推理效率
GrowPage是一个按需KV缓存预算框架，将KV容量视为运行时资源，通过双时间尺度查询摘要估计需求变化，并在容量边界压缩或获取额外物理页。与PagedAttention集成，保持连续批处理和前缀缓存。实验显示，在推理基准上实现了更优的性能-吞吐量权衡。
arXiv cs.AI59 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
GrowPage是一个按需KV缓存预算框架，将KV容量视为运行时资源，通过双时间尺度查询摘要估计需求变化，并在容量边界压缩或获取额外物理页。与PagedAttention集成，保持连续批处理和前缀缓存。实验显示，在推理基准上实现了更优的性能-吞吐量权衡。