★ 2
Optimal Hydra：面向 LLM 微调的模型异构联邦学习
论文提出 Optimal Hydra，一种面向 LLM 微调的模型异构联邦学习框架，结合全局层选择与客户端特定注意力头选择，依据本地数据分布生成客户端专属子网络 Hydra-nets。研究称这是首个针对 LLM 微调的模型异构联邦学习方法。在三个数据集上显著优于基线方法，同时降低本地资源需求。
arXiv cs.LG17 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 Optimal Hydra，一种面向 LLM 微调的模型异构联邦学习框架，结合全局层选择与客户端特定注意力头选择，依据本地数据分布生成客户端专属子网络 Hydra-nets。研究称这是首个针对 LLM 微调的模型异构联邦学习方法。在三个数据集上显著优于基线方法，同时降低本地资源需求。