★ 3
动态LLM路由器常被误导
研究分析六种商业LLM路由器在14种设置下的表现，发现没有一种能超越在匹配成本下随机选择两个精选模型的基线，部分路由器落后超过10个百分点。研究将差距归因于四种模式：难度盲区、长度反转、语义匹配和候选池次优。研究提出不奖励这些模式的替代评估方法，并设计了一个避免全部四种问题的简单双模型路由器，但其…
arXiv cs.AI28 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究分析六种商业LLM路由器在14种设置下的表现，发现没有一种能超越在匹配成本下随机选择两个精选模型的基线，部分路由器落后超过10个百分点。研究将差距归因于四种模式：难度盲区、长度反转、语义匹配和候选池次优。研究提出不奖励这些模式的替代评估方法，并设计了一个避免全部四种问题的简单双模型路由器，但其…
开发者推出 litelm，用约 2900 行代码和 2 个依赖（openai、httpx）复刻 LiteLLM 的核心路由与消息格式转换功能。它剥离了代理服务器、缓存层、成本追踪等冗余模块，仅保留模型路由、流式输出、工具调用和嵌入等调用路径。API 与 LiteLLM 完全兼容，支持 19 家提供…