★ 3
WAKMan：按负载自适应选择 KV 缓存淘汰策略
论文提出 WAKMan，一种负载感知的 KV 缓存管理器，可在不读取请求类型与提示内容的情况下，依据实时流量动态切换淘汰策略。作者发现智能体类请求偏好近因、长对话与热门提示偏好频率，20 种混合负载下没有单一最优策略。WAKMan 相比 vLLM 默认 LRU 平均提升 5 个百分点命中率，且平均…
arXiv cs.AI5 天前
#LLM 服务
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
PeekKV 用单 token 探测实现按注意力头分配 KV 缓存
KV 缓存随上下文线性增长成为 LLM 推理内存瓶颈。研究观察到 decode 阶段活跃注意力头在内容 token 间保持稳定，据此提出 PeekKV：在 prefill 后观察单个内容 token，联合获取头组得分与 token 重要性得分，按比例分配缓存预算。无需离线分析或训练，在 Llama…
arXiv cs.LG13 天前
★ 2
Upbound 分享：每次改动用两小时 GPU 测试 LLM 编码代理服务
Upbound 博客介绍其自托管编码模型的测试方法：每项 LLM 服务变更都投入约两小时 GPU 做验证，以评估从试点走向团队规模部署时的性能与稳定性。文章属于工程实践分享。
Hacker News – LLM6 天前