★ 4
KITE：面向高效智能体 LLM 扩展的 KV 不变 Transformer 扩展
论文提出 KV 不变 Transformer 扩展（KITE），通过 upcycling 从小模型扩展到大模型，并将新增参数放在不影响注意力 KV 的区域，从而同时节省训练与推理成本。具体实例 Step Scale Transformer（SST）为 67B MoE 模型，每解码 token 仅 …
arXiv cs.LG39 天前
#MoE
共 42 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 4
DeepSeek发布V4.1-Flash：1M上下文与FP4 KV缓存
DeepSeek 发布 DeepSeek-V4.1-Flash，针对长时程智能体带来的输入密集型负载设计。该多模态 MoE 模型拥有 552B 主干参数、196B Engram 参数与 100 万 token 上下文窗口，并引入 FP4 KV 缓存与跨层注意力复用，以缓解 HBM、SSD 容量与带…
MarkTechPost52 天前
★ 4
Nemotron 3 Super与xAI变动
NVIDIA发布Nemotron 3 Super，一种混合Mamba-Transformer MoE模型，用于代理推理。xAI联合创始人离职，Anthropic起诉国防部。
Last Week in AI231 天前
★ 3
Layerwise Repacking：混合注意力变长训练免重分配
论文提出 Layerwise Repacking，在混合注意力模型中保留 SP16/32 父组处理全注意力，将样本重打包进节点内 SP1/2/4/8 稀疏子组，并复用现有 Ulysses 通信点完成头部交换与重打包，避免额外重分配。在 1F3S 混合注意力模型前 200 步的 22 个步骤上，端到…
arXiv cs.LG5 天前
★ 3
GS-MoE 提出免训练 MoE 压缩，DeepSeek-MoE 减参 60% 保留九成性能
论文提出免训练 MoE 压缩框架 GS-MoE，通过组内共享低秩子空间与基于 Nyström 的神经元压缩两条轴削减专家冗余。在 DeepSeek-MoE-16B-Base 上参数减少 60% 仍保留约 90% 推理性能，优于 D²-MoE 的 73%，并开源代码。
arXiv cs.LG7 天前
★ 3
伯克利提出 Nestor 嵌套稀疏架构，预训练与持续学习优于 MoE
arXiv 论文提出 Nestor，用类似 MoE 的条件计算机制泛化注意力算子，使稀疏性可与 MoE 稀疏性层级嵌套。在同等算力与稀疏度下，Nestor 的语言模型预训练效果优于传统 MoE，且在长上下文适配与新领域持续预训练中遗忘更少。代码与检查点已在 GitHub 开源。
arXiv cs.LG7 天前
★ 3
ALTO 开源配方：MXFP4 训练 MoE 大模型追平 BF16
研究开源 ALTO 训练配方，在 MLPerf Small MoE 基准上以 MXFP4 微缩放格式训练 200 亿参数 MoE 模型 GPT-OSS-20B。结合混合块量化、随机 Hadamard 变换、随机舍入与权重去振荡，验证损失 3.3350，仅比 BF16 基线高 0.007，将 FP4…
arXiv cs.AI7 天前
★ 3
谷歌发布 Gemma-4-26B-A4B，同等准确率下思考量减少 39-69%
谷歌推出 Gemma-4-26B-A4B 模型，在保持同等准确率的前提下将推理思考量降低 39% 至 69%。该模型采用 MoE 架构（26B 总参数、4B 激活参数），主打高效推理。消息在 Hacker News 引发讨论，被视为小激活参数模型效率优化的重要进展。
Hacker News9 天前
★ 3
IQuest-Q1 开源 320B MoE 智能体基础模型，激活 15B
论文发布 IQuest-Q1，一个总参数 320B、激活 15B 的稀疏 MoE 智能体基础模型，经三阶段训练：稳定高效预训练、细粒度中期训练与多脚手架多版本后训练，并结合模型合并整合不同专家与检查点。该模型在编码与通用任务上均展现能力，已作为开源模型发布以支持社区研究。
arXiv NLP10 天前
★ 3
MoEZip 论文：面向稀疏 MoE 大模型的路由感知 KV 缓存压缩
arXiv 新论文提出 MoEZip，针对稀疏混合专家（MoE）大模型做路由感知的 KV 缓存压缩，解决 KV 驱逐会改变专家选择、损害生成质量的问题。方法基于路由分布的 Fisher 信息矩阵衡量敏感度，在 10% 缓存保留率下于 LongBench 与 RULER 上平均领先 SoTA 基线 …
arXiv cs.LG10 天前
★ 3
研究系统对比 NVFP4 低精度预训练配方
论文在中型模型规模上系统比较 NVFP4 训练配方，覆盖 8B 稠密模型与 30B-A3B MoE 模型、训练至 1T token。研究提出融合无偏梯度估计的最终配方，称是当前该规模下与 BF16 损失差距最小的 FP4 训练结果。消融显示选择性高精度层对大规模精度恢复是必要的。
arXiv NLP13 天前
★ 3
自适应专家分配实现 CPU-GPU 协同 MoE 推理，预填充提速 51.9%
研究提出一种 CPU-GPU 协同的 MoE 推理系统，将 GPU 未命中的专家按 token 负载自适应分配到 CPU 或 GPU 执行，并动态平衡两条执行路径的完成时间。在三个代表性 MoE 大模型上，预填充速度最高提升 51.9%，解码吞吐提升 39.5%。
arXiv cs.AI13 天前
★ 3
arXiv 论文提出 Spectral-MoE：逐层异构专家利用率
论文提出 Spectral-MoE，在稠密到 MoE 转换中按层异构分配专家利用率预算，而非各层固定相同激活专家数。方法包含静态（每层标量）与动态（每 token 调度）两种分配器。在 Llama-2-7B、Llama-3-8B、Qwen2.5-7B 上，动态分配在 25% FFN 利用率下显著降…
arXiv cs.LG18 天前
★ 3
Multi-Ratio ConceptMoE 支持多计算预算灵活分配
论文提出 Multi-Ratio ConceptMoE，在共享骨干内联合支持 2、4、8 三种 token 到概念压缩比。在 PTBench 与 SFTBench 上三种固定模式均优于计算量匹配的 MoE 基线，混合比推理在 CodeChat 与 CoSQL 上提升准确率并降低 FLOPs。
arXiv cs.LG19 天前
★ 3
Janas 发布：从 SSD 流式加载专家，笔记本跑超内存大模型
开源项目 Janas-LLM 用 C 语言编写，通过从 NVMe SSD 流式加载 MoE 专家权重，让 80B 参数模型在 32GB 内存笔记本上运行。实测 Qwen3-Next-80B 达 37 tok/s，全面快于 llama.cpp，支持 Linux 与 Windows。
Hacker News20 天前
★ 3
研究：用专家选择偏置缓解 MoE 数据不均衡
论文提出按类别条件设置专家选择偏置，将不同类别 token 优先路由到专门专家池，从而为数据稀缺的类别过度分配专家容量。在最高 106 亿参数模型上，该方法在多模态、低资源语言与代码任务上均取得提升，且保持标准 MoE 推理。
arXiv NLP21 天前
★ 3
ELR 提出无税循环语言模型，产出 Koi-4B
arXiv 论文提出 Elastic Latent Recurrence（ELR）训练方法，让循环（latent recurrent）语言模型在单次循环时不再落后于同规模非循环模型，从而消除「单循环税」。通过门控状态更新、混合循环深度与循环索引条件化三项设计，模型可随推理算力增加循环次数换取精度。…
arXiv NLP21 天前
★ 3
STAPLE：通过嵌入模块静态稀疏升级预训练模型
论文提出 STAPLE，在 STEM 基础上将静态稀疏记忆以残差路径方式集成到预训练模型中，保留原有计算并学习互补的 token 特定信息。在 OLMo-2 1B 上，HumanEval 提升 4.27 分，GSM8K 提升 2.27 分，且提升随静态容量增加而持续，在 OLMo-2 7B 上同样…
arXiv cs.LG21 天前
★ 3
DivMoE：跨域专家组合的细粒度 MoE 升级框架
论文指出细粒度 MoE 升级存在路由崩塌问题，提出 DivMoE 框架，通过领域专用细粒度专家初始化与多样性约束路由实现结构均衡。在 Qwen3-1.7B 等两个基座模型与 15 项基准上，DivMoE 持续优于六个升级基线，12B 模型在推理微调后匹配 16B 的 Moonlight-MoE。
arXiv cs.AI24 天前
★ 3
MoE 预训练专家耦合降低 All-to-All 通信开销
研究者发现 MoE 预训练早期路由器已学会以相关模式分配 token 给专家，据此提出相关专家放置与 token 重排两种方法，将更多 token-专家分配保留在本地 GPU。在 Megatron-LM 上，两种方法将 all-to-all 时间降低 1.16-2.63 倍，端到端步时最多降低 1…
arXiv NLP25 天前
★ 3
算法草稿本与课程分级提升微型Transformer算术推理
论文研究约1060万参数Tiny Transformer在多步算术任务中的机制，发现数据加载填充会造成83%梯度饥饿、语言预训练是必要前提，现代架构组件与稀疏MoE可提升加法推理。引入逐位长除法草稿本与四阶段课程后，单位数除法准确率从4.0%提升至86.7%。
arXiv cs.LG25 天前
★ 3
Flux：将LLM编译到硬件再提供服务
Flux 是一个面向 LLM 推理的实测执行规划器与运行时，会测量 GPU、CPU 与存储性能，搜索模型层与 MoE 权重的放置方案，并在真实提示上计时选出最快方案。它基于定制版 llama.cpp，支持 148 种架构，并可通过 OpenAI 兼容 API 提供服务。
Hacker News – LLM25 天前
★ 3
新方法LMOPD：词典序多目标在线策略蒸馏
针对RLVR后训练中正确性、推理质量与简洁性难以兼顾的问题，论文提出LMOPD方法，按显式优先级整合多个奖励专家策略。该方法为每次学生采样选择首个存在缺陷目标的专家，并投影其对数策略修正以消除与高优先级专家冲突的成分。在30B-A3B MoE模型上，四专家设置下保留约90%的准确率与推理增益，显著…
arXiv cs.LG28 天前
★ 3
专家隔离与关停实现LLM后门遏制
研究者提出「学习但分流」的新策略，通过Quarantined Expert Shutdown（QES）在类MoE结构中把触发条件行为引导至可隔离的专家分支。部署时只需将隔离专家的路由权重置零即可缓解后门，无需触发筛查或更新权重。实验在两类任务、三种攻击、四个模型家族上把攻击成功率从100%降至0-…
arXiv cs.AI31 天前
★ 3
阶跃Step 5 Preview实测：开源Top2表现亮眼
阶跃星辰发布Step 5 Preview，激活参数仅27B，实测表现强劲，被评价为开源模型Top2水平。该模型以较小激活参数实现高性能，体现MoE架构效率优势。对开源大模型竞争格局有影响。
量子位42 天前
★ 3
Jina AI发布jina-ocr-v1文档解析模型
Jina AI发布jina-ocr-v1，一款3.4B参数的MoE视觉文档解析模型，可将PDF、扫描件、表格、图表和发票转为Markdown。模型基于DeepSeek-OCR，内置FastMTP投机解码，在OmniDocBench v1.6得分91.14，单张A100每秒解析2.57页，权重以CC…
MarkTechPost44 天前
★ 3
Edge0：从 SSD 流式服务 35B MoE 模型
论文指出消费级硬件上 MoE 推理受权重内存限制，朴素 SSD 卸载无法提前预读专家。作者提出 Edge0 流式推理引擎，用 prerouter 提前一个 token 预测下一层路由并直接作为路由使用，配合恢复 LoRA 弥补量化损失。单台 24GB 机器可在 3GiB 峰值内存下以 20tok/…
arXiv cs.AI46 天前
★ 3
vivo预研30B MoE端侧大模型
vivo发布智能体大模型矩阵，包括语音大模型BlueLM-RealTime、端侧BlueLM-Nano及云侧BlueLM-Flash与BlueLM-Pro。vivo正预研蓝心30B MoE端侧大模型，探索万亿参数模型在手机上的应用。同时发布编程智能体BlueCode预览版、OriginOS 7及蓝…
36氪47 天前
★ 3
面向MoE大模型的任务感知联邦微调
针对MoE大模型在异构客户端数据下联邦微调的专家特化弱化与更新冲突问题，论文提出FedTAR方法。该方法用路由输出建立本地更新与任务偏好的关联，通过SVD提取任务坐标，进行簇内与簇间聚合，从而保留专家特化并缓解异构干扰，在四个基准任务上取得最优表现。
arXiv cs.LG48 天前
★ 3
Cohere发布North Small Translate翻译模型
Cohere推出North Small Translate，一款218B参数的MoE开源翻译模型，支持50种语言，在WMT26评测中得分83.6。权重对非商业用途免费，商业使用需通过Cohere Model Vault或RWS Language Weaver。
MarkTechPost52 天前