★ 3
Cerebras 实现万亿参数前沿模型部署
Cerebras 发布技术博客，介绍如何在自家晶圆级芯片上部署万亿参数级前沿模型，强调其内存带宽与片上存储对超大模型推理的适配性。这为超大模型推理提供了一条不同于 GPU 集群的路径。
Hacker News – AI10 天前
#推理部署
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
谷歌开源 LLM-d 1.0 分布式推理栈
谷歌发布开源项目 LLM-d 1.0，面向分布式大模型推理场景，提供可扩展的推理部署栈。该项目旨在降低大规模 LLM 服务的工程门槛。
Hacker News – LLM12 天前
★ 3
GGUF、GPTQ、AWQ、EXL2 模型格式解析
一篇指南系统对比 GGUF、GPTQ、AWQ、EXL2 与 EXL3 等 LLM 模型格式，区分文件容器与量化方法两类概念。文章解释每权重比特数、校准与硬件适配，并给出 Mac、消费级 GPU 与生产部署的选型建议。
MarkTechPost44 天前
★ 3
面向消费级 GPU 的自适应三指标 RAG 路由框架
研究指出在 NVIDIA T4 等 16GB 显存消费级 GPU 上部署 RAG 存在“压缩悖论”：神经提示压缩会加剧 KV 缓存争用与预处理延迟，不压缩则长上下文易 OOM。作者提出免训练的三指标路由器，依据空间复杂度、句法密度与类符形符比，在原始、神经压缩与词法压缩三条流水线间调度。在分布外测…
arXiv cs.LG46 天前
★ 2
LLM-D 1.0 发布，将开源 Kubernetes AI 推理推向生产环境
开源项目 LLM-D 发布 1.0 版本，聚焦在 Kubernetes 上运行大模型推理的生产级部署。该版本旨在简化分布式推理的调度与运维，面向企业级 AI 基础设施场景。
Hacker News – LLM11 天前
★ 2
在vLLM与Red Hat AI上运行决策模型
Red Hat发布技术文章，介绍如何借助DiffusionGemma在vLLM和Red Hat AI平台上运行决策模型。内容面向开发者，讲解部署与推理流程。这体现了开源推理栈在企业AI中的应用。
Hacker News – AI34 天前
★ 1
ZML 推出通用 LLM 服务器 llmd
ZML 发布名为 llmd 的通用大语言模型服务器项目，旨在为多种 LLM 提供统一的部署与推理服务接口。该工具在 Hacker News 上被分享，属于面向开发者的开源基础设施尝试。
Hacker News – LLM21 天前