#OLMoE

超越上一层：稀疏MoE路由中的残差预测结构

论文研究稀疏MoE模型中专家选择轨迹的可预测性，检验紧邻前一次选择是否足以预测下一路由。基于冻结的OLMoE与JetMoE模型，将历史从一层扩展到十一层使路由logit R²从0.599升至0.665，JetMoE复现实验也显示显著增益。结果表明专家选择轨迹中存在超越相邻层持续性的残差预测结构。