★ 3
MoE 预训练专家耦合降低 All-to-All 通信开销
研究者发现 MoE 预训练早期路由器已学会以相关模式分配 token 给专家，据此提出相关专家放置与 token 重排两种方法，将更多 token-专家分配保留在本地 GPU。在 Megatron-LM 上，两种方法将 all-to-all 时间降低 1.16-2.63 倍，端到端步时最多降低 1…
arXiv NLP25 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究者发现 MoE 预训练早期路由器已学会以相关模式分配 token 给专家，据此提出相关专家放置与 token 重排两种方法，将更多 token-专家分配保留在本地 GPU。在 Megatron-LM 上，两种方法将 all-to-all 时间降低 1.16-2.63 倍，端到端步时最多降低 1…