★ 2
Requesty 推出 AI 网关与 LLM 路由，支持 600 模型
Requesty 发布面向企业的 AI 网关与 LLM 路由服务，支持约 600 个模型，数据托管于欧盟数据中心。产品主打多模型统一接入、路由调度与合规部署，瞄准欧洲市场的企业 AI 基础设施需求。
Hacker News – AI5 天前
#LLM 路由
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
研究提出带在线偏好学习的个性化 LLM 路由方法
论文将个性化 LLM 路由建模为带约束的上下文多臂老虎机问题，在用户偏好未知、需从部署反馈中学习的情况下，兼顾推理成本与响应质量。在逻辑偏好模型与严格可行条件下，给出次线性成本遗憾与累计满意度的高概率保证。
arXiv cs.LG14 天前
★ 2
Commit-Aware Router：按企业 AI 承诺路由 LLM 流量
开发者发布 Commit-Aware Router，一个基于 LiteLLM 的开源概念验证工具，可根据企业已签订的 AI 预付费额度、最低消费协议和云承诺来优化 LLM 路由决策。该工具面向 CFO、FinOps 和 AI 平台团队，在满足质量与合规约束的前提下考虑商业承诺因素。
Hacker News – LLM19 天前
★ 2
FlexRouter：面向灵活 LLM 路由的互补模型集学习
现有 LLM 路由方法独立给模型打分并选 top-k，忽略模型相关性且预算固定，常选出共享失败模式的冗余模型。论文提出 FlexRouter，显式建模模型互补性，以「答案覆盖」为目标，用行列式点过程（DPP）刻画能力与冗余。在 RouterEval 基准上，该方法在域内与域外任务上均实现更高覆盖、…
arXiv cs.LG32 天前
★ 1
Glyphh Ada 推出基于先例的分类器与 LLM 兜底路由
Glyphh 发布 Ada，一款基于先例（precedent-based）的分类器，并配备 LLM 兜底路由机制，用于在规则分类无法覆盖时转交大模型处理。
Hacker News – LLM9 天前
★ 1
Reflex：GGUF 原生 Rust/CUDA 引擎实现 LLM 零规模路由
开发者发布 Reflex，一个基于 Rust 与 CUDA 的 GGUF 原生推理引擎，主打 scale-to-zero 的 LLM 路由能力。该工具在 Hacker News 的 Show HN 板块亮相，目前关注度较低，尚未有评论。
Hacker News – LLM20 天前