★ 3
谷歌开源 LLM-d 1.0 分布式推理栈
谷歌发布开源项目 LLM-d 1.0，面向分布式大模型推理场景，提供可扩展的推理部署栈。该项目旨在降低大规模 LLM 服务的工程门槛。
Hacker News – LLM12 天前
#分布式推理
共 8 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Minions：聚合闲置 Apple Silicon 的分布式虚拟 GPU 云
论文提出 Minions，一个动态分布式虚拟 GPU 云，把 macOS 设备上闲置的 Apple Silicon GPU 聚合起来执行大规模机器学习推理。该方案针对集中式 GPU 基础设施成本高、弹性差、排队久的问题，让团队复用已有设备算力。
Apple Machine Learning Research21 天前
★ 3
在十一台 Intel AI PC 上运行 975B 模型 Inkling
一篇 arXiv 论文展示如何将 975B 参数的大模型 Inkling 分布式运行在十一台 Intel AI PC 上。该工作探索了消费级 AI PC 集群承载超大模型推理的可行性，对边缘与本地部署有参考意义。
Hacker News – AI25 天前
★ 2
arXiv 论文提出 DISCO 通信高效分布式投机解码框架
DISCO 针对端-云协同 LLM 推理中投机解码的词汇表级通信开销问题，在服务端部署草稿小模型副本，使拒绝采样所需的草稿分布本地可得，仅传输草稿 token 索引与标量概率。在带宽受限场景下解码加速显著优于现有分布式投机解码方法。
arXiv cs.LG5 天前
★ 2
分布式推理项目 LLM-d 发布 v1.0.0，统一全组件版本
开源分布式推理栈 LLM-d 发布 v1.0.0，借此次大版本统一组织内所有组件版本号，并弃用自建推理镜像，转向上游 vLLM、SGLang、TRTLLM 生态。同时集成 ai-dynamo/modelexpress 的 P2P 权重加载，新增 API 扩展与 PD 分离工具。
Hacker News – LLM9 天前
★ 2
arXiv 提出 TRACE 码本编码降低分布式 Transformer 推理通信
TRACE 在每层 Transformer 注意力后残差处放置向量量化器，预计算码本索引的键值表示，使接收端通过查表直接恢复 K/V，实现通信与计算重叠。在 ViT-Base 与 ViViT-B 上精度最高提升 1.89%、端到端推理加速 1.27 倍，通信开销相比未压缩序列并行推理最多降低 22…
arXiv cs.LG14 天前
★ 2
Nibia Fabric：将普通电脑组成共享AI算力集群
Nibia Fabric 是一个开源分布式 LLM 推理系统，可聚合 macOS、Linux、Windows 机器的 CPU 与内存，基于 llama.cpp 实现容量感知调度、自适应内存预留与持久张量缓存，并提供 OpenAI 兼容 API。作者已在三台物理机上验证 30B 级 Qwen 与 G…
Hacker News – AI34 天前
★ 2
SheafDEQ：用神经层束实现收敛的隐式图网络
论文提出 SheafDEQ，一种基于自适应神经层束传播的次齐次深度平衡架构，其可学习的矩阵值层束限制映射能对齐、混合或反转邻居表示。作者证明在温和正则条件下，该模型从任意正初始化出发经不动点迭代可全局收敛到唯一平衡点，且在通信延迟有界时仍保证收敛。在分布式推理与社区检测任务上，SheafDEQ 优…
arXiv cs.LG35 天前