技术
Cascade Routing(级联路由)
级联路由是一种模型推理加速策略,通过让简单样本提前退出、复杂样本传递给更大模型,解决大模型推理成本高的问题。它广泛应用于大语言模型服务,如FrugalGPT和RouteLLM,实现精度与效率的平衡。
详细解释
级联路由通常包含多个不同规模的模型,按计算成本递增排列。输入首先由小模型处理,若其置信度低于阈值,则转发给更大模型。路由决策可基于置信度、熵或学习到的路由器。该技术能显著降低平均推理成本,同时保持高精度。挑战在于设计有效的路由策略和阈值,以及处理分布外样本。
别名与相关写法
cascade routing