★ 3
LRMoE 系统在显存受限节点上加速 MoE 模型训练
论文提出 LRMoE，一种显存感知的 MoE 训练系统，在反向传播中按 token-专家对更新贡献重新校准负载，并通过容量感知路由与物理压缩减少通信与计算开销。在 Qwen3-30B-A3B 与 GLM4.5-106B-A12B 上，达到固定损失目标的累计 MoE 层训练时间比 SYMI 减少 2…
arXiv cs.AI3 天前
#混合专家模型
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究定位 MoE 预填充专家削减损伤：少数提示词 token 决定短答 F1 损失
论文通过 token、层与注意力路径干预，定位 MoE 模型预填充阶段减少路由专家的性能损伤来源。在 Qwen3-30B-A3B 与 DeepSeek-V2-Lite 等四个模型族中，损失主要来自答案前的聊天模板 token 或指令所在的首批提示 token。将约 4% 敏感位置保留全专家可将 F…
arXiv NLP14 天前
这个主题的相关资产
相关公司深度求索（DeepSeek）1