Gradient Sparsification（梯度稀疏化）

在分布式深度学习训练中，节点间需要频繁同步梯度，通信成为主要瓶颈。Gradient Sparsification通过稀疏化梯度（如仅发送绝对值最大的K个元素或超过阈值的元素）来压缩通信量，同时结合误差反馈（Error Feedback）机制累积未发送的梯度，以保持模型收敛性。该方法在带宽受限的联邦学习或大规模集群训练中尤为重要，能减少高达99%的通信量，但可能引入梯度延迟和偏差，需谨慎调参。