★ 4
DeepSeek 开源推理引擎 DeepInfer
DeepSeek 开源其生产级推理框架 DeepInfer，支持离线推理与大规模服务部署，采用 Apache 2.0 协议。该框架最初基于 vLLM 构建，并借鉴 SGLang 与 TensorRT-LLM，默认适配 DeepSeek-V4.1-Flash-1017 模型，同时支持英伟达与昇腾平台。
Hacker News12 天前
#推理引擎
共 11 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Flide：精确状态分叉加速决策模型推理
针对 Jev 等决策模型在现有生成式推理引擎上前缀重算开销大、输出概率失真的问题，论文提出 Flide 推理引擎，用 ForkAttention 在 GPU 常驻索引上跨标准注意力与 Gated DeltaNet 层导航请求依赖。在公开混合与决策模型上比 vLLM、SGLang 快至多 9.5 倍…
arXiv NLP3 小时前
★ 3
StartLux 开源决策模型推理引擎 Prism，单卡最高提速 5.3 倍
StartLux 开源了专为决策模型设计的推理引擎 Prism，针对决策类模型的推理流程进行优化，单卡最高可提速 5.3 倍。该引擎填补了决策模型缺乏专用推理引擎的空白，有望提升强化学习与决策类应用的部署效率。
InfoQ AI9 天前
★ 3
Magnitude：面向智能体的自优化推理引擎
YC S25 创业公司 Magnitude 推出开源推理引擎，可在本地设备上编译并调优内核，使开源模型运行速度最高达 llama.cpp 的两倍。一键即可连接 Pi、Codex、Claude Code 等现有智能体，支持 Apple Silicon、NVIDIA、AMD 及纯 CPU，数据全程本地…
Hacker News32 天前
★ 2
AI 工具需协同工作，推理引擎成行业新趋势
文章指出当前电商等系统存在上下文割裂问题，导致用户购买后仍被推荐同类商品。生成式 AI 擅长生成回答，但缺乏对全局上下文和信号关系的理解。推理引擎（reasoning engines）可跨多信号与渠道进行逻辑推断，成为各行业关注的新方向。
快公司17 天前
★ 2
Enki LLM：纯 Rust 推理引擎支持 GPU/CPU 实时迁移
开发者发布 Enki LLM，一个约 2000 行代码的纯 Rust Transformer 推理引擎，可在 Nvidia Tesla T4 上以约 40 tok/s 运行 Llama-3.2 1B。其特色是支持生成过程中在 GPU 显存与 CPU 内存之间实时迁移模型，迁移耗时约 320 毫秒。
Hacker News – LLM19 天前
★ 2
MDMA 开源联邦式 LLM 推理引擎发布
MDMA（Model Dispatch and Memory Allocator）是一款开源联邦式 LLM 推理引擎，支持在用户自有设备上运行模型并互相私有服务。它内置 GGUF 加载器、KV 缓存与手写计算内核，通过 gRPC 与强制 mTLS 通信，目前处于实验阶段。
Hacker News – LLM19 天前
★ 2
TokenRouter：面向 token 级 LLM 路由的推理引擎
TokenRouter 是一个针对大模型推理的服务引擎，支持在 token 粒度上进行请求路由。该方案旨在提升多模型部署下的推理效率与资源利用率。
Hacker News – LLM23 天前
★ 2
Quail联合优化查询规划与推理引擎加速AI-SQL
Modal发布Quail技术，通过联合优化查询规划器与推理引擎，显著提升AI生成SQL的查询速度，达到十亿级每分钟事务处理。该方案针对AI-SQL场景中规划与推理割裂导致的性能瓶颈。
Hacker News – AI33 天前
★ 2
Jinfer：面向 JVM 的 AI 推理引擎
开发者发布 Jinfer，一个纯 JVM 的 AI 推理引擎，支持聊天、视觉、音频、嵌入、重排与 TTS，无需 Python 运行时、ONNX 或 Docker。底层包含纯 Java 分词器、GGUF/Safetensors 读写、量化矩阵乘内核与多后端张量 API。目前为仅 CPU 的早期版本，…
Hacker News – AI48 天前
★ 1
Reflex：GGUF 原生 Rust/CUDA 引擎实现 LLM 零规模路由
开发者发布 Reflex，一个基于 Rust 与 CUDA 的 GGUF 原生推理引擎，主打 scale-to-zero 的 LLM 路由能力。该工具在 Hacker News 的 Show HN 板块亮相，目前关注度较低，尚未有评论。
Hacker News – LLM20 天前