技术
Top-k Routing（Top-k 路由）
Top-k路由是一种在混合专家模型中，为每个输入仅选择k个专家进行处理的稀疏激活机制。
详细解释
在混合专家（MoE）模型中，Top-k路由根据门控网络计算的权重，选择得分最高的k个专家参与计算。这实现了条件计算，大幅增加模型容量而不显著增加计算量。例如，Google的Switch Transformer使用Top-1路由，而GShard使用Top-2。Top-k路由是MoE高效训练的关键。
别名与相关写法
top-k routing
Top-k路由是一种在混合专家模型中，为每个输入仅选择k个专家进行处理的稀疏激活机制。
在混合专家（MoE）模型中，Top-k路由根据门控网络计算的权重，选择得分最高的k个专家参与计算。这实现了条件计算，大幅增加模型容量而不显著增加计算量。例如，Google的Switch Transformer使用Top-1路由，而GShard使用Top-2。Top-k路由是MoE高效训练的关键。