★ 3
扩散语言模型的结果路由蒸馏与强化学习
论文提出一种无似然流水线，结合结果路由蒸馏与强化学习训练专家混合扩散语言模型（dLLM）。通过验证器结果对 rollout 分组路由，混合组使用无比率 REINFORCE，全失败组使用 KL 监督。在工具调用任务上，蒸馏超过教师 6.77 个百分点，路由进一步提升 18.31 点。
arXiv cs.LG18 天前
#专家混合
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
arXiv 论文提出 Spectral-MoE：逐层异构专家利用率
论文提出 Spectral-MoE，在稠密到 MoE 转换中按层异构分配专家利用率预算，而非各层固定相同激活专家数。方法包含静态（每层标量）与动态（每 token 调度）两种分配器。在 Llama-2-7B、Llama-3-8B、Qwen2.5-7B 上，动态分配在 25% FFN 利用率下显著降…
arXiv cs.LG18 天前
★ 3
DivMoE：跨域专家组合的细粒度 MoE 升级框架
论文指出细粒度 MoE 升级存在路由崩塌问题，提出 DivMoE 框架，通过领域专用细粒度专家初始化与多样性约束路由实现结构均衡。在 Qwen3-1.7B 等两个基座模型与 15 项基准上，DivMoE 持续优于六个升级基线，12B 模型在推理微调后匹配 16B 的 Moonlight-MoE。
arXiv cs.AI24 天前
★ 3
研究提出证据对齐的离散专家局部组合方法
本文提出证据对齐的局部组合方法，在测试时无需区域标签或训练路由器，即可推断每个位置的专家软权重。该方法利用专家自身的去噪损失估计证据，并平滑权重。在自然混合科学文档上达到0.85的字段准确率，在构造的词汇不相交混合上达到0.98，恢复效果优于单一全局权重。
arXiv cs.AI54 天前
★ 2
AdaST：时空预测的自适应耦合框架
论文指出真实时空数据存在时间主导、空间主导与强耦合等不同耦合模式，而现有方法默认强时空耦合，导致伪依赖与性能下降。作者提出 AdaST，通过「分解-重组」范式，用异质性感知专家将输入分解为不同耦合模式分量，再由角色对齐模块与相关性自适应重组器完成预测。实验显示其显著优于现有最优基线。
arXiv cs.AI33 天前
★ 2
面向低轨卫星星座的资源感知联邦专家混合与自适应剪枝
论文提出 COSMIC-FL 框架，用于低轨卫星星座上的高效在轨学习。该框架引入切片式与模块化两种专家混合（MoE）架构，并结合语义类别到专家的映射与三种结构化剪枝策略，使卫星仅训练和通信与本地数据相关的专家路径。在六个图像分类基准上，其通信、计算与能耗较 SOTA 联邦学习方法最多降低 80%，…
arXiv cs.LG34 天前
★ 2
EEG基础模型微调中跨深度聚合与软路由专家的数据集依赖效应
论文测试在CBraMod脑电基础模型中加入跨深度注意力残差与两个软路由专家库的效果，在四个数据集上三种子实验显示增益因数据集而异，甚至出现相反效果。AttnRes单独在三个数据集上提升平衡准确率，但带来2.11至2.88倍运行时间与1.78至2.67倍内存开销。
arXiv cs.LG46 天前
这个主题的相关资产
相关公司英伟达（Nvidia）1