NCCL（NVIDIA 集合通信库）

NCCL（NVIDIA Collective Communications Library）是 NVIDIA 开发的针对 GPU 的集合通信库，提供 all-reduce、broadcast、reduce 等原语，优化了多 GPU 和多节点间的数据传输。它利用 NVLink、PCIe 和 InfiniBand 等高速互连，通过拓扑感知和环状算法实现高带宽低延迟通信。NCCL 解决了分布式深度学习训练中梯度同步的通信瓶颈，是 PyTorch、TensorFlow 等框架的底层通信后端。其代表工作即 NCCL 库本身，广泛应用于大规模模型训练和 HPC 场景。