分布式训练

分布式训练通过数据并行、模型并行或流水线并行等策略，将计算图分割到多个GPU/TPU上协同工作。背景是深度学习模型参数量激增，单卡内存和算力无法满足训练需求。技术难点包括通信开销优化、梯度同步和容错机制。常用框架有Horovod、DeepSpeed和Megatron-LM。