model routing（模型路由）

模型路由系统通常包含路由器（分类器或启发式规则）和候选模型池。路由器预测查询难度或领域，将其分配给专用模型（如代码模型、数学模型）或不同规模模型。技术包括基于置信度、成本感知和强化学习策略。RouteLLM利用偏好数据训练路由器，在保持质量的同时降低推理成本。挑战在于路由准确性、延迟开销和动态模型更新。