★ 3
面向 MoE 大模型的子专家级微调方法
研究观察到 MoE 模型中激活专家内部同样稀疏，仅少量中间通道对下游任务强响应，因此专家级适配仍过粗。作者提出 NSFT 框架，将专家沿中间维度分解为结构化通道组，结合路由重要性与专家内激活显著性选择子专家。在 OLMoE 与 Ling-mini-2.0 上，NSFT 以更少可训练参数超越代表性 …
arXiv cs.LG40 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究观察到 MoE 模型中激活专家内部同样稀疏，仅少量中间通道对下游任务强响应，因此专家级适配仍过粗。作者提出 NSFT 框架，将专家沿中间维度分解为结构化通道组，结合路由重要性与专家内激活显著性选择子专家。在 OLMoE 与 Ling-mini-2.0 上，NSFT 以更少可训练参数超越代表性 …