★ 3
字节跳动 ByteExpress 用 RDMA 加速推理与训练
论文报告字节跳动在参数服务器架构的推理与训练系统中部署 ByteExpress 的经验，这是构建于硬件 RDMA 之上的软件通信层，包含 RDMA 感知分配器、零拷贝传输、QP 复用、接收信用流控与 RPC 辅助恢复。生产推理中模型参数拉取平均与 P99 延迟分别降低 35.7% 和 43.7%，…
arXiv cs.LG21 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文报告字节跳动在参数服务器架构的推理与训练系统中部署 ByteExpress 的经验，这是构建于硬件 RDMA 之上的软件通信层，包含 RDMA 感知分配器、零拷贝传输、QP 复用、接收信用流控与 RPC 辅助恢复。生产推理中模型参数拉取平均与 P99 延迟分别降低 35.7% 和 43.7%，…
一份面向 GPU 性能工程师的 AI 集群网络阅读清单发布，系统梳理 RDMA、GPU 到网卡数据路径、集合通信、传输协议与集群网络架构等主题。清单强调只收录基于真实网卡、交换机与 GPU 的资源，排除软件模拟环境，以保证性能数据可迁移。