技术

LLM Gateway

LLM Gateway是位于应用与大语言模型之间的中间层，统一管理模型调用、路由、限流和监控。

收录于 2026/10/27相关资讯 4 篇近 30 天 4 篇在词典中查看 →

详细解释

随着企业使用多个大语言模型（如GPT、Claude、开源模型），LLM Gateway应运而生。它提供统一的API接口，屏蔽不同模型供应商的差异，实现请求路由、负载均衡、故障转移、成本控制、速率限制和日志审计等功能。通过集中管理，企业可以更高效地利用模型资源，确保安全合规，并简化运维。

别名与相关写法
llm gateway

相关术语

Local LLM共现 1 篇

相关资讯

完整术语表见 AI 术语词典； 每日新术语与进展见 AI 早报。