★ 4
DeepSeek 开源推理框架：单集群日吞吐 155 万亿 Token
DeepSeek 开源最新推理框架，单集群日吞吐量达 155 万亿 Token，KVCache 可保存 7 天。该框架面向大规模推理场景优化，有望降低长上下文与高并发服务的成本。
InfoQ AI11 天前
#推理框架
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
DeepSeek 全面开源内部推理框架 DeepInfer
DeepSeek 宣布在已开源大模型、TileLang 编译工具及推理算子库的基础上，进一步将内部推理框架 DeepInfer 全面开源。基于 DeepInfer 已实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务。未来新模型的推理代码与优化也将持续在该框架更新，有助于…
36氪12 天前
★ 4
谷歌TPU跑Kimi比英伟达GPU快57%
测试显示谷歌TPU运行Kimi模型比英伟达GPU快57%，且使用DeepSeek推理框架。该成果由vLLM团队成员的创业公司出品，凸显推理框架与硬件适配的重要性。
量子位36 天前
★ 3
vLLM 修复工具调用准确率问题
技术文章介绍如何修复 vLLM 推理框架中工具调用（Tool Call）准确率不足的问题，涉及函数调用解析与输出约束。该话题在 Hacker News 获得 94 分、44 条评论，开发者讨论活跃。
Hacker News6 天前
★ 3
SGLang：面向LLM与多模态模型的高性能推理框架
LMSYS 托管的开源推理框架 SGLang 支持大语言、视觉语言与扩散模型，针对智能体负载、大规模服务与强化学习 rollout 优化，内置图像视频生成引擎 SGLang Diffusion，支持多种 GPU、TPU、NPU 与 Apple Silicon 平台。
Hacker News – LLM17 天前
★ 2
llm-d v1.0 发布，主打生产级高性能推理
llm-d 发布 v1.0 版本，定位为面向生产环境（day-2）的先进推理方案。该项目聚焦大模型推理的部署与运维，宣称达到业界领先水平。
Hacker News – LLM12 天前
★ 2
SSR：基于选择的结构化推理提升多模态搜索智能体效率
论文提出 Selection-based Structured Reasoning（SSR）框架，将多模态智能体的推理从开放式生成改为从预设可复用自然语言候选中选择，以减少小模型冗长无效推理带来的推理成本，提升动作生成效率。
Apple Machine Learning Research18 天前
2026-W44开源侧本周明显加速：10-29 智元 GO-3 Preview 发布并获 3 篇报道，11-01 DeepSeek 开源 Agent 底座再添 2 篇，两件事都指向 Agent 方向的基础设施开放。与此前零散的单点开源相比，本周呈现出底座与模型同步放开的态势，开源竞争正从模型权重延伸到 Agent 运行框架。