★ 3
动态稀疏MoE的分布一致性推理方法
论文指出，推理时减少激活专家数量会系统性增大 SMoE 输出的 RMS 尺度与方差，造成表示不匹配并拖累下游性能。为此提出逐层分布对齐（LDA），利用逐层校准统计量将降路由表示对齐到默认配置。在多个 SMoE 大模型与基准上，LDA 能在几乎无额外开销的情况下挽回大部分因分布偏移而损失的性能。
arXiv cs.LG53 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出，推理时减少激活专家数量会系统性增大 SMoE 输出的 RMS 尺度与方差，造成表示不匹配并拖累下游性能。为此提出逐层分布对齐（LDA），利用逐层校准统计量将降路由表示对齐到默认配置。在多个 SMoE 大模型与基准上，LDA 能在几乎无额外开销的情况下挽回大部分因分布偏移而损失的性能。