LLM Router

随着可用模型增多，单一模型难以兼顾成本、延迟与质量。LLM Router 先对用户查询做意图或难度判断，再路由到不同规模或专长的模型，例如简单问题走小模型、复杂推理走大模型。它常基于分类器、嵌入相似度或学习式打分实现，可显著降低推理成本并提升整体效果，是模型服务编排的关键环节。