★ 3
WAKMan：按负载自适应选择 KV 缓存淘汰策略
论文提出 WAKMan，一种负载感知的 KV 缓存管理器，可在不读取请求类型与提示内容的情况下，依据实时流量动态切换淘汰策略。作者发现智能体类请求偏好近因、长对话与热门提示偏好频率，20 种混合负载下没有单一最优策略。WAKMan 相比 vLLM 默认 LRU 平均提升 5 个百分点命中率，且平均…
arXiv cs.AI5 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 WAKMan，一种负载感知的 KV 缓存管理器，可在不读取请求类型与提示内容的情况下，依据实时流量动态切换淘汰策略。作者发现智能体类请求偏好近因、长对话与热门提示偏好频率，20 种混合负载下没有单一最优策略。WAKMan 相比 vLLM 默认 LRU 平均提升 5 个百分点命中率，且平均…