Hacker News – LLM·19 天前★ 2

MDMA 开源联邦式 LLM 推理引擎发布

原文标题：MDMA: An open source federated LLM inference engine

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

MDMA（Model Dispatch and Memory Allocator）是一款开源联邦式 LLM 推理引擎，支持在用户自有设备上运行模型并互相私有服务。它内置 GGUF 加载器、KV 缓存与手写计算内核，通过 gRPC 与强制 mTLS 通信，目前处于实验阶段。

所属主题开源15

AI 处理过程展开/收起

原始标题：MDMA: An open source federated LLM inference engine

AI 中文标题：MDMA 开源联邦式 LLM 推理引擎发布

来源：Hacker News – LLM · 发布于 19 天前

分类：开源 · AI 重要度：★ 2（2）

标签：推理引擎 / 联邦推理 / 开源 / GGUF

关键词：MDMA 推理引擎 / 联邦推理 / 本地 LLM / 开源推理

AI 处理：2026/10/14 10:58:22 · 模型 deepseek-chat · 规则版本 2026-10-10.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐