★ 3
苹果 MLX 框架结合 RDMA 实现 Mac Studio 分布式大模型推理
苹果 MLX 开源数组框架利用 Apple Silicon 统一内存架构,让研究者在本地私有环境运行最新模型推理与微调。结合 RDMA 网络,多台 Mac Studio 可组成分布式集群进行大模型推理。此前苹果还介绍了 M5 架构及其 GPU 神经加速器的优势。
Apple Machine Learning Research18 天前
共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。
苹果 MLX 开源数组框架利用 Apple Silicon 统一内存架构,让研究者在本地私有环境运行最新模型推理与微调。结合 RDMA 网络,多台 Mac Studio 可组成分布式集群进行大模型推理。此前苹果还介绍了 M5 架构及其 GPU 神经加速器的优势。
开发者Rob推出Potluck,可将用户拥有的多台笔记本和游戏电脑组网,共同运行更大的本地模型。目标是构建用户自有机器网络,让闲置算力互相借用,降低运行大模型的硬件门槛。