★ 3
arXiv 论文提出 KVLearn：分离式 LLM 服务中的 KV 缓存保留学习框架
针对分离式 LLM 推理中缓存未命中需跨节点传输的问题，论文提出 KVLearn 框架，包含前缀复用预测器 PRP、成本感知保留评分 CARS 与自适应阈值控制器 ATC。在文本与多模态负载上，首 Token 时延相比无缓存降低最多 56%、相比 LRU-Pool 降低 38%，跨节点 KV 传输…
arXiv cs.LG11 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对分离式 LLM 推理中缓存未命中需跨节点传输的问题，论文提出 KVLearn 框架，包含前缀复用预测器 PRP、成本感知保留评分 CARS 与自适应阈值控制器 ATC。在文本与多模态负载上，首 Token 时延相比无缓存降低最多 56%、相比 LRU-Pool 降低 38%，跨节点 KV 传输…