Adaptive Routing（自适应路由）

传统神经网络对每个输入都使用全部参数，计算浪费且难以扩展。Adaptive Routing根据输入内容动态选择计算路径，例如在混合专家模型中，每个输入仅激活部分专家，从而在保持大模型容量的同时减少计算量。路由通常由可学习的门控网络实现，输出权重决定专家组合。挑战包括负载均衡和训练稳定性，常用辅助损失鼓励专家均匀使用。该技术已应用于大规模语言模型如Switch Transformer和GShard，显著提升训练和推理效率。