AI 事件专题★ 3
arXiv 论文提出 Spectral-MoE：逐层异构专家利用率
10-15 12:00 首发·1 家媒体·1 篇报道·持续 1 天·大模型
论文提出 Spectral-MoE，在稠密到 MoE 转换中按层异构分配专家利用率预算，而非各层固定相同激活专家数。方法包含静态（每层标量）与动态（每 token 调度）两种分配器。在 Llama-2-7B、Llama-3-8B、Qwen2.5-7B 上，动态分配在 25% FFN 利用率下显著降低 WikiText-2 困惑度并提升六任务平均准确率。