★ 4
Mistral 发布 Large 4 模型，瞄准企业网络安全
法国 Mistral AI 发布 Large 4（ML4）模型，具备先进编程与网络防御能力，可本地部署。模型总参数 1.05 万亿、激活约 520 亿，使用 3800 颗英伟达 Grace Blackwell GPU 在欧洲数据中心训练，主打以更少算力实现领先性能。
36氪2 天前
#稀疏模型
共 5 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
LatentMoE：专家几何形状与逐层容量分配研究
论文研究 LatentMoE 中专家形状作为显式设计选择的影响，证明专家局部雅可比秩受输入维度与中间宽度共同约束，在固定单专家参数量下二者平衡可最大化秩上限，实验一致偏好近方形专家。作者进一步用逐层内在维度指导深度方向的容量分配，在保持每层参数量、激活 FLOPs 与通信量不变的情况下取得更低验证…
arXiv cs.AI18 天前
★ 3
STAPLE：通过嵌入模块静态稀疏升级预训练模型
论文提出 STAPLE，在 STEM 基础上将静态稀疏记忆以残差路径方式集成到预训练模型中，保留原有计算并学习互补的 token 特定信息。在 OLMo-2 1B 上，HumanEval 提升 4.27 分，GSM8K 提升 2.27 分，且提升随静态容量增加而持续，在 OLMo-2 7B 上同样…
arXiv cs.LG20 天前
★ 3
arXiv 论文：稀疏混合专家模型的弹性专家路由
论文针对稀疏混合专家模型静态 top-k 路由的脆弱边界问题，提出弹性专家路由（Elastic Expert Routing），从以 k 为中心的局部离散分布中随机采样活跃专家预算。在 OLMoE-1B-7B 与 Qwen3-30B-A3B 监督微调上分别提升 0.84 与 2.02 分，从头预训…
arXiv NLP23 天前
★ 3
论文提出分布鲁棒 MoE 训练方法 DRMoET
论文提出DRMoET，将逐层专家视为内生鲁棒性分组，优化高损失路由结果而非仅均衡流量。通过熵正则化softmax规则更新专家分布，强化可能的非top路由路径。在FLAME-MoE配方746M与10.3B规模上，DRMoET在七任务平均分上优于标准与无辅助损失均衡基线，并降低专家损失方差、改善领域专…
arXiv cs.LG25 天前
这个主题的相关资产
相关公司Mistral AI1