#TokenRouter

TokenRouter：面向 token 级 LLM 路由的推理引擎

TokenRouter 是一个针对大模型推理的服务引擎，支持在 token 粒度上进行请求路由。该方案旨在提升多模型部署下的推理效率与资源利用率。