Hacker News – LLM·6 天前★ 2

开发者开源 Sturnus：基于延迟的 LLM 负载均衡器

原文标题：Show HN: Sturnus, a latency-based LLM load balancer

重要度 2/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

开发者发布单静态二进制工具 Sturnus，按各 LLM 提供商的延迟与可用性自动分配流量，慢速或报错提供商会保留少量探测流量以便自动恢复。工具兼容 OpenAI API，无需 Redis 或数据库，MIT 许可，定位为轻量 sidecar。

所属主题开源15

AI 处理过程展开/收起

原始标题：Show HN: Sturnus, a latency-based LLM load balancer

AI 中文标题：开发者开源 Sturnus：基于延迟的 LLM 负载均衡器

来源：Hacker News – LLM · 发布于 6 天前

分类：开源 · AI 重要度：★ 2（2）

标签：负载均衡 / LLM 网关 / 开源 / 推理基础设施

关键词：Sturnus 负载均衡 / LLM 网关 / 开源 LLM 工具 / 推理部署

AI 处理：2026/10/27 00:01:15 · 模型 deepseek-chat · 规则版本 2026-10-21.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐