★ 3
面向MoE大模型的任务感知联邦微调
针对MoE大模型在异构客户端数据下联邦微调的专家特化弱化与更新冲突问题，论文提出FedTAR方法。该方法用路由输出建立本地更新与任务偏好的关联，通过SVD提取任务坐标，进行簇内与簇间聚合，从而保留专家特化并缓解异构干扰，在四个基准任务上取得最优表现。
arXiv cs.LG48 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
针对MoE大模型在异构客户端数据下联邦微调的专家特化弱化与更新冲突问题，论文提出FedTAR方法。该方法用路由输出建立本地更新与任务偏好的关联，通过SVD提取任务坐标，进行簇内与簇间聚合，从而保留专家特化并缓解异构干扰，在四个基准任务上取得最优表现。