★ 2
ADTGuard：大模型流式推理的自适应深度-时间防护
论文提出 ADTGuard，在 token 释放前逐 token 检测，通过深度-时间安全动态整合各层安全证据并累积风险，用因果深度路由器自适应选择观测层，并借助风险起始目标细化从响应级标签构造 token 级训练目标。仅需 1600 万可训练参数，在多个安全基准上达到或超过现有防护水平。
arXiv cs.AI5 天前
#流式推理
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 1
FastAPI-stream-lease 发布：Redis 管理 LLM 流式会话
开源项目 fastapi-stream-lease 提供基于 Redis 的租约管理器，用于限制 FastAPI 中并发的 SSE、LLM token 流与 WebSocket 会话数量。支持按用户与全局限额，超限连接在流开始前返回 429。
Hacker News – LLM19 天前