★ 3
Gandalf：延长 SSD 寿命的 KV Cache 卸载系统
论文指出生产级 LLM 负载下 KV Cache 写入量远超 SSD 容量，会大幅缩短闪存寿命。作者提出 Gandalf，首个具备 SSD 寿命感知的 KV Cache 卸载系统，优先将全注意力 KV Cache 写入 SSD，平均延长 SSD 寿命 7.3 倍且几乎不影响命中率。
arXiv cs.LG10 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出生产级 LLM 负载下 KV Cache 写入量远超 SSD 容量，会大幅缩短闪存寿命。作者提出 Gandalf，首个具备 SSD 寿命感知的 KV Cache 卸载系统，优先将全注意力 KV Cache 写入 SSD，平均延长 SSD 寿命 7.3 倍且几乎不影响命中率。