动态LLM路由器常被误导
研究分析六种商业LLM路由器在14种设置下的表现,发现没有一种能超越在匹配成本下随机选择两个精选模型的基线,部分路由器落后超过10个百分点。研究将差距归因于四种模式:难度盲区、长度反转、语义匹配和候选池次优。研究提出不奖励这些模式的替代评估方法,并设计了一个避免全部四种问题的简单双模型路由器,但其…
共 9 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究分析六种商业LLM路由器在14种设置下的表现,发现没有一种能超越在匹配成本下随机选择两个精选模型的基线,部分路由器落后超过10个百分点。研究将差距归因于四种模式:难度盲区、长度反转、语义匹配和候选池次优。研究提出不奖励这些模式的替代评估方法,并设计了一个避免全部四种问题的简单双模型路由器,但其…
阿里国际站撰文指出,企业 AI 的竞争优势不仅取决于模型智能,更在于将工作流与合适能力的模型精准匹配。其开源的 CommerceAgentBench 基准包含 107 个真实电商任务,最强智能体仅完成 61.7%。结果显示不同任务适合不同模型,模型选择应成为工作流级别的决策。
论文将 Complement Naive Bayes 与零样本、少样本 LLM 在文本分类任务上对比,覆盖四个模型家族、27B 至 1T 参数规模。结果显示 LLM 仅在零数据场景占优,一旦有标注数据,NB 在 AG News 上达到 89.1%,与零样本 27B LLM 持平并超过 397B 前…
研究引入令牌经济评分(TES)衡量推理模型的边际收益,分析151次运行。发现任务结构比名义难度更能预测推理效率,顺序推理任务高,知识回忆任务低,且存在收益递减。建议按任务类型和部署上下文选择性启用推理。
论文研究从 M 个含噪无偏评分中取最大值导致的赢家偏差,确定了独立非同分布与两两非负相关噪声两类情形下的紧常数,并在 448 个模型与分类器选择流程上验证。所有定理均在 Lean 4 中形式化验证,并给出交叉验证估计偏差的紧界。
论文在 5 个领域 16 组配对数据集、多档标注预算下比较三种多模态对齐范式:联合预训练编码器融合(JOINT)、独立预训练编码器融合(DECOUPLED)与冻结 LLM 智能体(AGENT)。144 个数据集-预算组合中无一范式全面占优,DECOUPLED 胜 54 次、JOINT 44 次、A…
论文通过四环境配对分类任务,系统研究自适应优化器中二阶矩估计幂次 p 与全局学习率 η 的交互。发现使跨环境准确率最优的 p 随 log10(η) 近似线性下降,斜率约 -0.27 至 -0.30。研究还揭示源域验证会系统性地选出与最大化环境鲁棒性不同的预条件机制,属单种子有限预算的机理研究。
论文提出将 AUC 上界作为可微、无需真实异常样本的目标函数,直接优化异常检测系统的连续参数,而非仅在有限候选集中选择配置。方法可优化集成权重并引入可学习分数重标定机制,在多个数据集与嵌入模型上显著优于传统模型选择与开发集参数选择。
文章探讨通过丰富模型选择并实现智能路由来提升智能效能。智能路由可根据任务需求动态分配不同模型,兼顾成本与性能,是当前AI应用架构优化的重要方向。