量子位·6 天前★ 4

港科CMU联手岩山科技开源新模型，KV Cache砍99%吞吐提升6倍

原文标题：KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型

重要度 4/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

香港科技大学、CMU与岩山科技联合开源新模型，通过将KV Cache压缩99%，实现单卡512路长推理并发、吞吐提升6倍。该成果显著降低长上下文推理的显存与成本压力。

AI 处理过程展开/收起

原始标题：KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型

AI 中文标题：港科CMU联手岩山科技开源新模型，KV Cache砍99%吞吐提升6倍

来源：量子位 · 发布于 6 天前

分类：开源 · AI 重要度：★ 4（4）

标签：KV Cache / 开源模型 / 长上下文推理 / 岩山科技

关键词：KV Cache 压缩 / 开源模型长推理 / 岩山科技模型 / 推理吞吐优化

AI 处理：2026/10/26 18:01:10 · 模型 deepseek-chat · 规则版本 2026-10-21.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐