★ 4
DeepSeek 开源推理引擎 DeepInfer
DeepSeek 开源其生产级推理框架 DeepInfer，支持离线推理与大规模服务部署，采用 Apache 2.0 协议。该框架最初基于 vLLM 构建，并借鉴 SGLang 与 TensorRT-LLM，默认适配 DeepSeek-V4.1-Flash-1017 模型，同时支持英伟达与昇腾平台。
Hacker News13 天前
#vLLM
共 15 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
研究发布推理工程帕累托图谱，测54种Qwen2.5-7B配置
LLM 推理优化常在不同模型、GPU、提示与质量指标上报告加速，难以比较或组合。论文构建成本、质量与延迟的帕累托图谱，实测 Qwen2.5-7B-Instruct 在 vLLM 0.12 及 L4/A100/H100 上的 54 种配置并校准模拟器。结果显示组合方法更常进入前沿；AWQ 4bit …
arXiv cs.AI46 天前
★ 3
vLLM 修复工具调用准确率问题
技术文章介绍如何修复 vLLM 推理框架中工具调用（Tool Call）准确率不足的问题，涉及函数调用解析与输出约束。该话题在 Hacker News 获得 94 分、44 条评论，开发者讨论活跃。
Hacker News6 天前
★ 3
arXiv 论文：AbridgeKV 将长推理压缩进 KV 缓存
AbridgeKV 通过训练模型把已生成文本块压缩为少量学习到的暂停 token 的 KV 条目，从而释放原始缓存。在 AIME 等 446 道竞赛题上，保留四分之一缓存即可匹配全 KV 模型精度与输出长度。在 vLLM 中部署后每序列缓存缩小 3.5 倍，H100 完成问题快 3.2 倍。
arXiv NLP17 天前
★ 3
研究：长上下文草稿生成无需长上下文草稿模型
论文指出推测解码在超长上下文下失效，因为草稿模型继承目标模型的上下文相关成本。作者冻结已发布的短上下文草稿模型，通过限制注意力缓存与重设旋转位置索引两种推理时机制，使其在 4k 到 200 万 token 范围内保持加速效果，无需训练长上下文草稿模型。
arXiv cs.LG17 天前
★ 3
KV-Repurpose：非前缀KV缓存复用评测系统开源
针对LLM推理中KV缓存复用通常局限于精确前缀的问题，研究者发布基于vLLM的开源系统KV-Repurpose，支持按段复用KV缓存。在Zipfian式RAG负载下，30GB缓存容量时其token级命中率达63.9%，远超前缀缓存的3.3%，显著降低首token延迟。实验同时揭示跨文档推理场景下朴…
arXiv NLP21 天前
★ 3
SPIN：稀疏注意力影子预测索引器
论文提出SPIN（Shadow Predictive Indexer），用轻量级基于历史的预测识别重要KV块，避免每个解码步对完整KV缓存打分，从而降低索引器开销。在长上下文与智能体基准上实现30-40%稀疏度并保持任务质量，vLLM端到端服务吞吐提升最高14.9%，中位token间延迟降低最高1…
arXiv cs.LG25 天前
★ 3
RigMark：按编码代理用法评测本地 AI
开发者发布 RigMark，一个面向 OpenAI 兼容本地推理设备的可复现服务基准，按编码代理真实使用方式测试散文、代码、结构化输出与预填充性能。它强调模型无关，可用于 Qwen、GLM、DeepSeek 及 vLLM、SGLang、DGX Spark 等栈，旨在用可追溯的「凭据」取代孤立的 t…
Hacker News – AI26 天前
★ 3
AutoTuneBench：LLM 服务引擎自动调优的可信度量
论文指出 LLM 智能体调优 GPU 内核与服务引擎的闭环测量不可信，归纳出稻草人基线、绝对时间不可迁移、任务饱和、基础设施缺陷四类失败模式。作者提出 AutoTuneBench 基准与测量协议，通过代码冻结、数据库校验、反作弊与预注册读数使可信度架构化。诚实测量大幅改写结论：最佳内核相对朴素基线…
arXiv cs.AI46 天前
★ 2
分布式推理项目 LLM-d 发布 v1.0.0，统一全组件版本
开源分布式推理栈 LLM-d 发布 v1.0.0，借此次大版本统一组织内所有组件版本号，并弃用自建推理镜像，转向上游 vLLM、SGLang、TRTLLM 生态。同时集成 ai-dynamo/modelexpress 的 P2P 权重加载，新增 API 扩展与 PD 分离工具。
Hacker News – LLM9 天前
★ 2
Corbenic AI 开源 Galahad：为 AI 提供 5000 万 token 长期记忆层
Corbenic AI 发布开源项目 Galahad，定位为 AI 的记忆层，可缓存模型对文本的读取结果，避免 GPU 重复处理同一文本，并支持按问题定位文档相关片段。Galahad 采用 C++ 核心，可运行于 llama.cpp、vLLM 和 SGLang，已在 10 个家族 30 个开源模型…
Hacker News – AI22 天前
★ 2
用 vLLM 实现规模化本地 LLM 推理
Data4Sci 发布博客，介绍如何借助 vLLM 在本地实现规模化的大语言模型推理。文章面向工程实践，讲解吞吐优化与部署要点，适合自建推理服务的开发者参考。
Hacker News – LLM22 天前
★ 2
用 vLLM 实现大规模本地 LLM 推理
Data4Sci 发布教程，介绍如何借助 vLLM 在本地实现大规模大语言模型推理。内容面向希望自建推理服务的开发者，属于技术实践类文章。
Hacker News – LLM23 天前
★ 2
DLFP：解码延迟反馈预填充控制器及其泛化局限
论文提出无模型控制器 DLFP，仅调整与活跃解码重叠的预填充工作，用观测间隔作为比例反馈动态调整预填充块大小。在单张 A100 上的 Qwen3-0.6B 实验中，P99 词间延迟平均降低 27.7%，但首 token 延迟上升 34.8%。该机制无法泛化到 Qwen3-8B、Qwen3-32B …
arXiv cs.AI32 天前
★ 2
在vLLM与Red Hat AI上运行决策模型
Red Hat发布技术文章，介绍如何借助DiffusionGemma在vLLM和Red Hat AI平台上运行决策模型。内容面向开发者，讲解部署与推理流程。这体现了开源推理栈在企业AI中的应用。
Hacker News – AI34 天前
2026-W42本周推理方向有两件事：AI token价格持续通缩，以及OpenAI研究员就推理可见性引发争议。前者意味着推理成本下降正改变产品定价逻辑，后者则暴露「模型是否展示思考过程」在透明度与竞争间的张力。两条线共同指向推理能力商品化后的新矛盾。