★ 4
港科CMU联手岩山科技开源新模型，KV Cache砍99%吞吐提升6倍
香港科技大学、CMU与岩山科技联合开源新模型，通过将KV Cache压缩99%，实现单卡512路长推理并发、吞吐提升6倍。该成果显著降低长上下文推理的显存与成本压力。
量子位7 天前
#KV Cache
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
汪涛详解华为AI战略：昇腾960提前登场
华为汪涛详解公司AI战略，明确以算力为核心，并宣布昇腾960提前登场。同时华为推出PB级KV Cache方案，将AI基础设施推入新阶段，强化大模型推理与训练支撑能力。
InfoQ AI45 天前
★ 4
DeepSeek V4.1-Flash重构KV Cache
DeepSeek V4.1-Flash参数几乎翻倍，但推理反而更省，核心在于对KV Cache的重构。该优化有望降低大模型推理成本，提升长上下文场景效率。原文内容缺失，仅提供跳转链接。
InfoQ AI52 天前
★ 3
闪迪CEO：2027年数据中心将占存储市场超55%
闪迪CEO David Goeckeler在财报电话会上表示，数据中心业务已从十年前约占行业总量20%增长到如今近一半，预计2027年将占据超过55%市场份额，投标需求同比增长约40%。他还预测到本十年末键值缓存（KV Cache）将占AI数据中心闪存市场约三分之一。
36氪3 天前
★ 3
OCR开源新模型将KV Cache压成常数，缓存砍96%
新开源的OCR模型通过将KV Cache压缩为常数，实现页数无上限处理并将缓存降低96%，被称为OCR 3.0时代的开源新王。该技术显著降低长文档OCR的显存开销，对文档解析与多模态应用有直接价值。
量子位6 天前
★ 3
Gandalf：延长 SSD 寿命的 KV Cache 卸载系统
论文指出生产级 LLM 负载下 KV Cache 写入量远超 SSD 容量，会大幅缩短闪存寿命。作者提出 Gandalf，首个具备 SSD 寿命感知的 KV Cache 卸载系统，优先将全注意力 KV Cache 写入 SSD，平均延长 SSD 寿命 7.3 倍且几乎不影响命中率。
arXiv cs.LG10 天前