FlashOffloading 将 KV 缓存全量卸载至 DRAM，解码吞吐提升 1.91 倍
原文标题：FlashOffloading: Low-Latency KV Cache Offloading for Long-Context LLM Serving
重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。
论文提出 FlashOffloading，以主机 DRAM 为中心的推理架构，在预填充与解码阶段全量卸载 KV 缓存，配合滚动 HBM 缓存、热缓存、反向稀疏索引与计算-加载重叠内核。在昇腾 910C PD 分离平台部署 GLM-5.2 并启用 MTP3 投机解码，30ms TPOT 约束下预填充吞吐提升至 1.38 倍、解码提升至 1.91 倍，已合入 vLLM-Ascend 开源框架。
深读 · 结论先行AI 生成展开看要点与影响 ↓
FlashOffloading把KV缓存全量卸载到DRAM，30ms TPOT约束下解码吞吐提升1.91倍。
- •以主机DRAM为中心，预填充与解码两阶段均全量卸载KV缓存，突破HBM容量墙
- •配套滚动HBM缓存、解码热缓存、零额外缺失查询的反向稀疏索引与计算-加载重叠内核
- •在昇腾910C PD分离平台部署GLM-5.2并启用MTP3投机解码
- •30ms TPOT约束下预填充吞吐最高1.38倍、解码最高1.91倍
- •已合入vLLM-Ascend开源框架v0.30.0分支
为什么重要：长上下文推理的瓶颈从算力转向HBM容量，该方案给出可落地的开源实现，对国产昇腾集群部署方直接相关。
以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。
AI 处理过程展开/收起
相关推荐
OpenAI 据悉计划采购谷歌 TPU 芯片，降低对英伟达依赖
AI 摘要据报道，OpenAI 正计划采购谷歌自研的张量处理单元（TPU），以扩大算力规模并实现芯片供应多元化，双方尚未敲定最终条款。OpenAI 同时在推进与博通合作、代号 Jalapeno 的自研 AI 芯片。若交易落地，将直接冲击英伟达在 AI 加速芯片市场的主导地位，并重塑云厂商与大模型公司的算力供应格局。
阿联酋因伊朗袭击调整 5GW AI 数据中心计划
AI 摘要据路透社报道，在遭受伊朗袭击后，阿联酋修订了其 5GW AI 数据中心建设计划。该事件凸显地缘政治冲突对中东地区大规模 AI 基础设施投资的直接冲击，可能影响全球算力布局与供应链。
英伟达预计单季营收达1080亿美元
AI 摘要英伟达预测未来几个月内营收将达到1080亿美元，有望成为继亚马逊、苹果和Alphabet之后又一家季度营收超千亿美元的公司。其数据中心营收同比增长一倍以上，利润也大幅增长。
英伟达拟将 Brightspeed 老旧电信机房改造为1吉瓦AI推理网络
AI 摘要英伟达已向美国宽带运营商 Brightspeed 提交书面方案，计划将部分老旧电信机房改造成小型AI数据中心，组成最多覆盖20个州的推理网络。知情人士称这批机房合计约有1吉瓦可用电力。