★ 3
CIRCE：从约束结构预测 LLM 任务复杂度
研究提出 CIRCE，用低成本 LLM 构建约束中间表示并编译为约束图，从而在模型作答前预测任务复杂度，可指导模型路由与测试时算力分配。在七个推理基准与四个 LLM 上，即使随机初始化的 GNN 编码器也将 AUROC 从 0.691 提升至 0.727。
arXiv cs.AI3 小时前
#模型路由
共 16 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
SkillEval 提出用认知诊断模型评估大模型技能画像
论文提出 SkillEval 评估框架，利用大模型自身能力从题目中自动发现可解释技能，再借助心理测量学的认知诊断模型（CDM）估计模型在各技能上的能力。在 3811 个模型、9523 道题、五个基准上实验，所得画像比平均分更能预测未见题目表现，并可用于模型路由（推理成本降 60% 以上）与自适应测…
arXiv NLP11 天前
★ 3
研究：智能家居智能体多数调用无需前沿大模型
论文在开源智能家居框架 Wactorz 的五个 LLM 调用点上评测 9 个 0.8B 至前沿模型，发现能力排序因调用点而异，大模型并非全面更优。最佳本地模型在五个调用点中的四个与托管模型无统计差异，仅代码生成拉开差距。按调用点路由本地模型可达 91.8% 准确率，仅托管两个生成类调用点即可用 2…
arXiv cs.AI25 天前
★ 3
一个 Token 值多少算力？MoA 测量充分计算量
论文指出大模型对每个 token 花费相同算力，而投机解码与模型路由的前提是大量算力冗余，但单个 token 实际所需算力从未被测量。作者通过 Mixture-of-Agents 视角，用十五个不同容量模型逐 token 复现参考序列，将最小成功智能体的推理成本定义为该 token 的充分算力。结…
arXiv cs.AI28 天前
★ 3
openJiuwen发布X-Router自演进模型路由技术
openJiuwen首发X-Router自演进模型路由技术，针对昇腾平台优化，可让Agent在运行中动态选择最优模型。实测可减少50%以上Token消耗，实现越跑越省。该技术面向多模型调度场景，降低推理成本。
量子位31 天前
★ 3
Ollama 支持 Jev 风格决策模型
Ollama 0.35 新增 /v1/systemone 端点，基于 TypeSafe 的 Jev API 支持本地决策模型，可对文本一次性回答是/否、选项与评分问题并给出各选项概率。本地运行延迟极低，Nimble 9B 在 M5 Max 上平均每次决策约 91ms，适合工单分流、模型路由与内容安…
Ollama Blog34 天前
★ 3
HybridInfer：热感知强化学习分层 LLM 推理路由
论文指出旗舰骁龙设备上持续端侧生成会导致 GPU 推理运行时崩溃或静默卡死，问题源于 OpenCL 内核编译与长提示预填充。作者提出 HybridInfer，用手机热余量与查询复杂度作为状态，通过离线 Q-learning 策略在端侧 Llama 3.2 3B、边缘 Llama 3.1 8B 与云…
arXiv cs.LG35 天前
★ 3
企业AI编程智能体的路由与治理
论文指出企业大规模部署 AI 编程智能体（如 Claude Code、Codex）时，harness 的默认设置决定了模型选择、缓存使用与成本。作者构建可定制路由器，用校准概率分类器 Jev 对每个提示按自定义分类体系打标，并仅在会话开始、侧道与子智能体启动等无需重建缓存的时点切换工作。在 1 万…
arXiv cs.AI38 天前
★ 3
CFRC：有状态智能体交接的承诺约束残差补全方法
论文针对路由与级联中跨模型转移控制时的有状态交接问题，提出承诺约束的残差补全框架CFRC。CFRC通过目标先于提议、整体提议先于授权、实时证据先于成功三条规则，冻结残差契约并构建证据链接图。在五个环境和两组同厂商模型对上，以22%-34.6%的推理成本达到接近全任务智能体的准确率。
arXiv cs.AI48 天前
★ 3
SCX Router：流式零样本模型选择路由
介绍SCX Router，基于GLiClass的轻量级路由器，通过解码器KV分类器实现零样本模型选择。构建任务本体并训练，在LiveBench子集上优于固定模型，实现速度-成本-质量权衡。
arXiv cs.AI60 天前
★ 2
arXiv 提出 VL-Scout，用随机路由与强化融合做多模型推理
论文提出视觉语言框架 VL-Scout，结合贝叶斯先验、策略梯度与 Dirichlet 信念模型实现在线不确定性感知的模型路由，并用 GRPO 或 RLVR 训练融合策略决定继续或作答。在 MMMU、MMMU-Pro、OKVQA、RealWorldQA 四个基准上对比 11 个基线取得稳定提升，并…
arXiv cs.LG13 天前
★ 2
Vals.ai 提出路由器是 AI 新基础原语
Vals.ai 发布博客文章，主张模型路由器（Router）正在成为 AI 系统的新基础原语，用于在多个模型间动态分配请求以平衡成本与性能。该观点将路由层视为与模型本身同等重要的架构组件。
Hacker News – AI17 天前
★ 2
TW3Cast：仅用训练集选择的轻量微调基础模型冻结路由
TW3Cast 是一个时间序列预测系统，在 GIFT-Eval 榜单 130 个条目中按平均 MASE 排名第三，且不使用任何智能体或语言模型。其路由表在训练集上一次性计算后冻结，专家为轻量微调的公开基础模型。完整路由将平均 MASE 排名从最佳单模型的 33.8 提升至 19.4，所有榜单数字均…
arXiv cs.AI38 天前
★ 1
Medium 盘点五大开源 LLM 网关
一篇 Medium 文章盘点当前主流的五款开源 LLM 网关，比较其在多模型路由、密钥管理与可观测性方面的能力。属于综述类内容，非新发布。
Hacker News – LLM6 天前
★ 1
ModelFlare 提出把 LLM 故障转移设计为路由切换而非重试循环
ModelFlare 博客文章讨论 LLM 服务的高可用设计，主张把模型故障转移视为一次路由变更，而不是反复重试同一请求。文章介绍其模型分组与故障切换机制，用于在某个模型不可用时平滑切换到备用模型。
Hacker News – LLM14 天前
★ 1
Metrum AI Router：可训练的路由智能降低 token 成本
Metrum AI 在 GitHub 开源了 AI Router，通过可训练的路由智能在多个模型间分配请求，以降低 token 成本。该工具面向希望优化推理开销的开发者。
Hacker News – AI50 天前