技术
Non-IID(非独立同分布)
Non-IID(非独立同分布)指数据样本不满足独立同分布假设,在联邦学习中普遍存在,导致模型训练困难。解决该问题可提升联邦学习效果,代表工作如FedProx和SCAFFOLD。
详细解释
在联邦学习中,各客户端的数据通常来自不同用户或设备,其分布可能差异很大,且样本间可能相关,因此不满足独立同分布假设。Non-IID数据会导致全局模型收敛慢、性能下降,甚至无法收敛。针对此问题,研究者提出了多种算法,如FedProx通过添加近端项限制本地更新,SCAFFOLD使用控制变量减少客户端漂移。此外,数据共享、个性化联邦学习等方法也被探索。Non-IID是联邦学习核心挑战之一。
别名与相关写法
non-iid