arXiv cs.AI阿里巴巴·60 天前★ 3

SCX Router：流式零样本模型选择路由

原文标题：SCX Router: Streaming Zero-Shot Model Selection with a Decoder-KV Classifier and a Real-World Task Ontology

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

介绍SCX Router，基于GLiClass的轻量级路由器，通过解码器KV分类器实现零样本模型选择。构建任务本体并训练，在LiveBench子集上优于固定模型，实现速度-成本-质量权衡。

论文速读 · 四段结构cs.CL去论文速读 →

问题: LLM推理端点质量、价格、延迟差异大，手动选择难以维持速度-成本-质量权衡。
方法: 基于GLiClass的轻量路由器，0.6B参数Qwen3解码器加浅层双向打分器，用解码器KV路径零样本给模型标签打分，无需自回归生成，同时预测任务类型、难度等。
结果: 在LiveBench子集上优于固定模型，实现速度-成本-质量权衡；构建23任务族、115任务类型、345子类型、1173合成示例的任务本体，生成15万验证任务和1.5万开放任务。
影响: 为多模型路由提供轻量零样本方案，可动态优化推理成本与质量，适合模型网关/调度产品。