Sparse Routing（稀疏路由）

稀疏路由源于混合专家模型（MoE），其核心思想是通过可学习的门控网络为每个输入动态选择少数专家（如Top-k），仅这些专家参与计算。这样模型总参数量可以极大，但每次前向传播的计算量保持恒定，实现了计算与参数的解耦。该技术广泛应用于大规模语言模型，如Switch Transformer和GShard，显著降低了训练和推理成本。