#FastAPI

共 2 篇相关资讯,按重要度与时间排序,每 3 小时更新。

★ 1

FastAPI-stream-lease 发布:Redis 管理 LLM 流式会话

开源项目 fastapi-stream-lease 提供基于 Redis 的租约管理器,用于限制 FastAPI 中并发的 SSE、LLM token 流与 WebSocket 会话数量。支持按用户与全局限额,超限连接在流开始前返回 429。

Hacker News – LLM19 天前

相关标签

FastAPI 最新资讯与动态(2 篇) - 智讯 AI News