★ 3
研究：Muon 优化器使首个混合专家层更难负载均衡
论文在 5500 万与 1.08 亿激活参数模型上测量 Muon 与 AdamW 对专家路由偏置跨度的影响，发现 Muon 使首个 MoE 层偏置跨度平均翻倍，最忙专家承担 4 至 7 倍公平份额。减去输入批次均值可消除过载且几乎不影响损失，小模型上降低 Muon 学习率亦有效。
arXiv cs.LG3 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文在 5500 万与 1.08 亿激活参数模型上测量 Muon 与 AdamW 对专家路由偏置跨度的影响，发现 Muon 使首个 MoE 层偏置跨度平均翻倍，最忙专家承担 4 至 7 倍公平份额。减去输入批次均值可消除过载且几乎不影响损失，小模型上降低 Muon 学习率亦有效。
开发者发布单静态二进制工具 Sturnus，按各 LLM 提供商的延迟与可用性自动分配流量，慢速或报错提供商会保留少量探测流量以便自动恢复。工具兼容 OpenAI API，无需 Redis 或数据库，MIT 许可，定位为轻量 sidecar。