★ 2
SPADE-KD 提出异构环境下点对点个性化蒸馏框架
论文提出 SPADE-KD，一个完全去中心化的模型蒸馏框架，通过自适应蒸馏与效用驱动的对等选择，在模型架构与数据分布均异构的环境下优化个性化而非全局性能。在联邦分类任务上，其损失更低、收敛更快，优于朴素去中心化蒸馏。
arXiv cs.LG13 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 SPADE-KD，一个完全去中心化的模型蒸馏框架，通过自适应蒸馏与效用驱动的对等选择，在模型架构与数据分布均异构的环境下优化个性化而非全局性能。在联邦分类任务上，其损失更低、收敛更快，优于朴素去中心化蒸馏。
论文提出 ZO-COSMO，面向去中心化零阶学习的稀疏通信场景，刻画了「单跳条件」并耦合双查询估计与保均值掩码共识。作者给出匹配类下的收缩界与收敛保证，并在 64 个合成智能体与 8 个 Qwen LoRA 工作节点上验证。在同等通信预算下，Qwen2-7B 在 QNLI 上比显式索引 Rand-…