★ 3字节跳动 ByteExpress 用 RDMA 加速推理与训练论文报告字节跳动在参数服务器架构的推理与训练系统中部署 ByteExpress 的经验，这是构建于硬件 RDMA 之上的软件通信层，包含 RDMA 感知分配器、零拷贝传输、QP 复用、接收信用流控与 RPC 辅助恢复。生产推理中模型参数拉取平均与 P99 延迟分别降低 35.7% 和 43.7%，…arXiv cs.LG21 天前