★ 4
英伟达发布Nemotron 3.5 Super与Lightning开源模型
英伟达推出Nemotron 3.5 Super（120B总参、12B激活的多模态MoE混合Mamba-Transformer）与Nemotron 3.5 Lightning（30B总参、3B激活的文本模型），面向推理、长上下文与智能体负载。Super经多教师在线策略蒸馏后SWE-bench Pro…
arXiv NLP3 天前
#混合专家
共 39 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
8点1氪丨三部门联合调查“尊界V800汽车刹车踏板支架断裂问题”；国内一半AI算力被指在造爽剧；台积电第三季度净利润7631亿元台币
Meta发布开放权重模型Muse Spark Open，采用混合专家架构，总参数8160亿、活跃参数420亿，上下文窗口达100万词元。该模型与苹果合作支持Mac本地运行，并适配英伟达、AMD、英特尔芯片。
36氪17 天前
★ 4
研究：MoE路由遥测泄露微调成员隐私
论文揭示混合专家（MoE）模型推理时产生的路由信息可被用于成员推断攻击。研究者提出路由增强的成员推断攻击，结合输出信号与聚合路由特征，在三种MoE架构和三个数据域上均将1%假阳性率下的真阳性率提升2.7至9.4个百分点。该泄露在完全微调、冻结路由、LoRA和指令微调下均存在，表明路由遥测成为微调M…
arXiv cs.LG24 天前
★ 3
研究揭示微调 MoE 大模型存在专家路由记忆泄露风险
论文发现微调后的 MoE 大模型会记忆训练数据的内部路由路径，形成可被无监督生成恢复的路由指纹。在联邦学习与边缘云等分布式部署中该漏洞被放大，传统成员推断指标失效，作者提出复合指标提升检测能力。
arXiv cs.LG2 小时前
★ 3
研究提出 PEEP 与 DCEP：MoE 大模型结构化专家剪枝方法
论文指出 MoE 层专家输出存在结构化冗余，将专家剪枝重构为结构保持的子集选择问题，并提出 PEEP 与 DCEP 两种剪枝方法。在 DeepSeek-V2-Lite 与 Qwen3-30B-A3B 上，75% 与 50% 保留率下多数基准优于现有方法，可降低部署显存开销。
arXiv cs.AI2 小时前
★ 3
研究：Muon 优化器使首个混合专家层更难负载均衡
论文在 5500 万与 1.08 亿激活参数模型上测量 Muon 与 AdamW 对专家路由偏置跨度的影响，发现 Muon 使首个 MoE 层偏置跨度平均翻倍，最忙专家承担 4 至 7 倍公平份额。减去输入批次均值可消除过载且几乎不影响损失，小模型上降低 Muon 学习率亦有效。
arXiv cs.LG3 天前
★ 3
单人研究者发布 Metis-1.6 双模型技术报告
独立研究者从零训练出 Praxis（2.94B 参数，每步激活 0.46B）与 Logos（10.23B 参数，激活 1.18B）两个模型，采用 Mamba-2 与注意力混合专家堆叠并重复两遍。Logos 在 40 项后训练基准平均 52.93，接近 Qwen3-4B，但训练数据量约为可比模型中位…
arXiv cs.LG3 天前
★ 3
DuplexTune：耦合状态重放降低 MoE 微调显存
论文提出 DuplexTune，通过可训练宽度桥连接两条残差流，重放耦合隐藏状态以适配 MoE 模型，并冻结路由权重。在 Qwen1.5-MoE-A2.7B 单卡 H800 上，峰值显存 38.8GB（对比带检查点的监督微调 64.8GB），吞吐 25.1 对 19.9 样本/秒，MMLU 67.…
arXiv cs.LG5 天前
★ 3
欧洲开源 Kolibri 模型发布：78.1B 总参数、Apache 2.0 授权
报告介绍 Kolibri，一个英德双语混合专家 Transformer，总参数 78.1B、每 token 激活 3.46B，以 Apache 2.0 开源权重发布，面向德国及公共管理、工业、航空航天等受监管领域的主权部署。模型训练 24T token，德语占比超 20%，在英德双语开源模型中处于…
arXiv NLP7 天前
★ 3
ProQuant：MoE 模型超低比特量化保专家质量
论文提出 ProQuant，面向混合专家（MoE）大模型的仅权重量化后训练框架，在极低比特预算下保持生成质量。方法包含联合优化专家剪枝与位宽分配的 PoP，以及通过等价变换补偿量化误差、抑制路由漂移的 RoCo 微调。实验显示其在多种生成任务上优于现有方法，代码已开源。
arXiv cs.AI10 天前
★ 3
Reflection 开源模型 Beam 上线 Ollama 限时免费
Reflection 推出首个开放权重模型 Beam，并在 Ollama 平台限时免费提供。Beam 采用混合专家架构，总参数约 5010 亿、每 token 激活 230 亿，支持 100 万 token 上下文，面向软件工程、推理与长周期智能体任务，以 Apache 2.0 协议开源。
Ollama Blog17 天前
★ 3
LLM-jp-4 技术报告：日本开源主权大模型
论文发布 LLM-jp-4 系列日本主权大模型，包含 8B 稠密模型与 32B-A3B 混合专家模型，均从零训练约 12 万亿 token。项目强调透明度、可复现性与实用性，公开数据与软件选择标准及开发流程，性能较前代显著提升，与同规模开源模型具竞争力。
arXiv NLP18 天前
★ 3
arXiv 提出 SQUELCH：LoRA 秩一专家的噪声门限路由
论文将 token 需要多少秩一组件视为检测问题，提出无路由器的秩一专家混合方法 SQUELCH。它对每个 token 的响应按其自身稳健噪声水平软阈值化，用 Stein 无偏风险估计选阈值，并通过解释消除步骤抑制冗余组件。在 LLaMA-3.1-8B、Qwen3 等模型上优于 LoRA 2.2-…
arXiv cs.LG18 天前
★ 3
多模态数据混合的缩放定律：文本、视觉与音频
研究基于 MoE 架构开展 268 组实验（457M 至 8.3B 参数、最多 1500 亿 token），推导文本、视觉、音频三模态的数据混合缩放定律。发现音频偏好扩参数、文本视觉需均衡扩展，视觉音频数据重复超 2 倍收益甚微，且跨模态干扰高度不对称。
arXiv NLP19 天前
★ 3
LatentMoE：专家几何形状与逐层容量分配研究
论文研究 LatentMoE 中专家形状作为显式设计选择的影响，证明专家局部雅可比秩受输入维度与中间宽度共同约束，在固定单专家参数量下二者平衡可最大化秩上限，实验一致偏好近方形专家。作者进一步用逐层内在维度指导深度方向的容量分配，在保持每层参数量、激活 FLOPs 与通信量不变的情况下取得更低验证…
arXiv cs.AI19 天前
★ 3
研究：用专家选择偏置缓解 MoE 数据不均衡
论文提出按类别条件设置专家选择偏置，将不同类别 token 优先路由到专门专家池，从而为数据稀缺的类别过度分配专家容量。在最高 106 亿参数模型上，该方法在多模态、低资源语言与代码任务上均取得提升，且保持标准 MoE 推理。
arXiv NLP21 天前
★ 3
arXiv 论文：稀疏混合专家模型的弹性专家路由
论文针对稀疏混合专家模型静态 top-k 路由的脆弱边界问题，提出弹性专家路由（Elastic Expert Routing），从以 k 为中心的局部离散分布中随机采样活跃专家预算。在 OLMoE-1B-7B 与 Qwen3-30B-A3B 监督微调上分别提升 0.84 与 2.02 分，从头预训…
arXiv NLP24 天前
★ 3
论文提出分布鲁棒 MoE 训练方法 DRMoET
论文提出DRMoET，将逐层专家视为内生鲁棒性分组，优化高损失路由结果而非仅均衡流量。通过熵正则化softmax规则更新专家分布，强化可能的非top路由路径。在FLAME-MoE配方746M与10.3B规模上，DRMoET在七任务平均分上优于标准与无辅助损失均衡基线，并降低专家损失方差、改善领域专…
arXiv cs.LG26 天前
★ 3
MoRA：基于路由偏置学习的 MoE 剪枝
针对混合专家模型部署时显存占用大的问题，论文提出 MoRA 结构化专家剪枝框架。它为每个专家引入可学习路由偏置，通过最小化语言建模损失与路由多样性正则来识别关键专家，并加入专家近似机制用剩余专家拟合被剪枝专家的输出。在 Qwen3-30B-A3B、DeepSeek-V2-Lite、Moonligh…
arXiv cs.LG31 天前
★ 3
OMP-MoE：基于正交匹配追踪的专家剪枝
论文提出 OMP-MoE，一种无需训练的 MoE 大模型专家剪枝框架，将剪枝问题重构为稀疏信号重建任务并用正交匹配追踪求解。方法还通过注水策略优化跨层专家分配，并引入自适应推理机制动态调整专家激活。在 Qwen3-30B-A3B 上 50% 压缩仍保留 93.3% 性能，搜索速度提升 33 倍，推…
arXiv cs.LG34 天前
★ 3
RAZOR：剪枝大模型中的可替换专家
论文提出 RAZOR，一种免训练的 MoE 专家剪枝方法，通过共识残差评估专家的功能可替换性，而非仅看使用频率或贡献幅度。在 GLM-4.7-Flash、Qwen3.6-35B-A3B、DeepSeek-V4-Flash-0731 与 Hy3 上，25% 与 50% 剪枝率下均取得九任务宏平均最优…
arXiv cs.LG35 天前
★ 3
面向 MoE 大模型的子专家级微调方法
研究观察到 MoE 模型中激活专家内部同样稀疏，仅少量中间通道对下游任务强响应，因此专家级适配仍过粗。作者提出 NSFT 框架，将专家沿中间维度分解为结构化通道组，结合路由重要性与专家内激活显著性选择子专家。在 OLMoE 与 Ling-mini-2.0 上，NSFT 以更少可训练参数超越代表性 …
arXiv cs.LG40 天前
★ 3
★ 3
跨层共享专家提升 Transformer 参数利用率
研究提出 CS-MoE，一种跨层专家共享的 Transformer 架构，将层独立专家与全局共享专家池结合，实现 token 级参数激活与 FLOPs 的弹性控制。实验表明 CS-MoE 在仅激活 55% 参数时困惑度低于同规模稠密 Transformer，并在固定 FLOPs 预算下逼近 MoE…
arXiv cs.LG41 天前
★ 3
OneBid：统一自动出价基础模型
快手提出 OneBid，将多种 oCPX 广告场景统一到一个自动出价基础模型中，从异构日志学习可复用骨干网络，再通过离线后训练适配具体场景。模型基于 Decision Transformer，扩展出转化价值与成本比双信号条件，并采用序列级混合专家架构兼顾跨场景知识与低延迟。线上 A/B 测试显示 …
arXiv cs.LG42 天前
★ 3
IntBMoE：块级条件化的全参与混合专家
研究提出IntBMoE，通过稠密专家组合与稀疏块执行解耦参与度、执行量与参数物化三个维度，并引入双路径残差门控。该模型已部署于高德生成式推荐系统，服务数亿用户，在60毫秒延迟预算下取得2.4%的相对UVCTR提升。
arXiv cs.LG42 天前
★ 3
L0 正则化混合专家加速稠密大模型
论文提出 L0-MoE，一种利用 L0 正则化的轻量级混合专家方法，可在几乎不损失性能的前提下加速稠密 LLM。方法引入聚类混淆矩阵进行领域感知数据筛选，并采用动态批处理提升训练效率。实验显示相比稠密模型最高提速 2.5 倍，优于现有加速基线。
arXiv cs.AI42 天前
★ 3
注意力感知路由：MoE 中耦合路由与注意力
论文提出注意力感知路由（AAR），从注意力权重滑动窗口中提取时序与频谱特征增强路由器，冻结基础 Transformer 仅训练路由参数。在 OLMoE 上 GSM8K 提升 3.37 个百分点，并揭示路由与注意力构成耦合回路，且存在深度敏感的检索-推理张力。
arXiv cs.AI42 天前
★ 2
SpecLST：频谱增强长短时时空多模态交通预测框架
论文提出 SpecLST，用基于快速傅里叶变换的频域表征模块高效编码数周历史依赖，规避长序列注意力的内存瓶颈。异构上下文经注意力融合，再接稀疏混合专家骨干与图增强。在 60 分钟预测窗口下，相较八个神经预测基线在四个数据集上 MAE 平均降低 14.10%、RMSE 降 10.35%、MAPE 降…
arXiv cs.LG5 天前
★ 2
EDWARD-NMT：自适应路由弹性维度稀疏 MoE 翻译架构
论文提出 EDWARD-NMT，一种面向「一次训练、随处部署」的 MoE 编码器-解码器架构，可在推理时暴露多个可部署子网络。其创新包括 Matryoshka 式弹性维度、带学习阈值的自适应 sigmoid 路由，以及双一致性目标。在 PhoMT、WMT-14、OPUS-16 等基准上，全容量架构…
arXiv NLP7 天前