★ 3
面向MoE大模型的任务感知联邦微调
针对MoE大模型在异构客户端数据下联邦微调的专家特化弱化与更新冲突问题,论文提出FedTAR方法。该方法用路由输出建立本地更新与任务偏好的关联,通过SVD提取任务坐标,进行簇内与簇间聚合,从而保留专家特化并缓解异构干扰,在四个基准任务上取得最优表现。
arXiv cs.LG48 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
针对MoE大模型在异构客户端数据下联邦微调的专家特化弱化与更新冲突问题,论文提出FedTAR方法。该方法用路由输出建立本地更新与任务偏好的关联,通过SVD提取任务坐标,进行簇内与簇间聚合,从而保留专家特化并缓解异构干扰,在四个基准任务上取得最优表现。
论文提出EMGBlend自监督框架,针对公共表面肌电数据集在电极布局、通道数和频率支持上的差异,结合共享通道补丁与几何感知注意力,将频谱目标限制在各记录支持的频带内并平衡数据源曝光。在11个公共EMG源上预训练1.09亿参数模型,在手势识别、连续力回归和接触分类上持续优于随机初始化和波形重建对照。
论文将联邦学习中的客户端联盟形成建模为 Hegselmann-Krause 有界置信观点动力学过程,在本地权重空间直接聚类并按联盟聚合。在真实智能水表数据集上,该方法最多十次内迭代即收敛,不增加客户端计算或通信,平均 MAE 相比 FedAvg 降低最多 54%,全局准确率达 83-85%。