★ 3
论文提出分布鲁棒 MoE 训练方法 DRMoET
论文提出DRMoET，将逐层专家视为内生鲁棒性分组，优化高损失路由结果而非仅均衡流量。通过熵正则化softmax规则更新专家分布，强化可能的非top路由路径。在FLAME-MoE配方746M与10.3B规模上，DRMoET在七任务平均分上优于标准与无辅助损失均衡基线，并降低专家损失方差、改善领域专…
arXiv cs.LG26 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出DRMoET，将逐层专家视为内生鲁棒性分组，优化高损失路由结果而非仅均衡流量。通过熵正则化softmax规则更新专家分布，强化可能的非top路由路径。在FLAME-MoE配方746M与10.3B规模上，DRMoET在七任务平均分上优于标准与无辅助损失均衡基线，并降低专家损失方差、改善领域专…