★ 2
MDMA 开源联邦式 LLM 推理引擎发布
MDMA（Model Dispatch and Memory Allocator）是一款开源联邦式 LLM 推理引擎，支持在用户自有设备上运行模型并互相私有服务。它内置 GGUF 加载器、KV 缓存与手写计算内核，通过 gRPC 与强制 mTLS 通信，目前处于实验阶段。
Hacker News – LLM19 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
MDMA（Model Dispatch and Memory Allocator）是一款开源联邦式 LLM 推理引擎，支持在用户自有设备上运行模型并互相私有服务。它内置 GGUF 加载器、KV 缓存与手写计算内核，通过 gRPC 与强制 mTLS 通信，目前处于实验阶段。