★ 4
Fireworks与Fal因推理需求激增酝酿新融资
随着AI推理需求激增，Fal、Fireworks AI等模型调用服务商营收走高，引发投资者新一轮追捧。Fal已就新一轮融资与投资者洽谈，目标估值150亿美元，谈判尚处早期，估值可能上调至170亿至200亿美元。
36氪37 天前
#推理服务
共 9 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
GLM-5.3 Workers AI 模型被曝跨请求 KV 缓存泄露
Hacker News 讨论指出，GLM-5.3 Workers AI 模型存在跨请求 KV 缓存暴露问题，可能使不同用户请求间的缓存数据发生泄露。该帖获得 54 分热度与 8 条评论，引发对推理服务缓存隔离与多租户安全的关注。
Hacker News6 天前
★ 3
趋境科技完成B轮融资，半年超十倍增长加速AI Token交付
趋境科技宣布完成B轮融资，半年内实现超十倍速增长。公司称将加速高品质AI Token的规模化交付，反映行业对高质量推理与Token服务的需求上升。
量子位7 天前
★ 3
异构批处理加速迭代检索服务系统Orthrus
针对嵌入模型与生成模型隔离执行导致吞吐低、GPU利用率差的问题，论文提出Orthrus服务系统，在统一推理循环内进行异构批处理，通过分块嵌入与增量池化及工作负载感知的批次组合优化性能。在四块A100 GPU上，受控工作负载吞吐提升1.28至4.52倍，迭代RAG基准端到端p99延迟最多降低55.8…
arXiv cs.AI40 天前
★ 2
GAUSS 提出 LLM 推理服务负载感知仿真器
论文提出 GAUSS，一种负载感知的分析与蒙特卡洛仿真器，可预测首 token 时延（TTFT）、token 间时延（TBT）的完整分布及可持续请求率。它结合预填充与解码的分阶段延迟曲面与排队模型，通过集成蒙特卡洛采样捕捉尾延迟。可支持未部署工作负载、路由策略与硬件配置的容量规划。
arXiv cs.AI3 天前
★ 2
研究提出 FRA 方法：在预算内压缩 LoRA 适配器集群
论文针对共享资源预算下同时服务多个 LoRA 适配器的场景，提出功能秩分配（FRA）方法，把压缩建模为适配器内跨层与集群内跨适配器的两级秩分配问题。FRA 通过端到端测量模块截断效果并结合谱提议，在 78 个适配器上改善了最差情况与尾部效用。
arXiv cs.AI5 天前
★ 2
如何设计可持续演进的 AI 推理服务框架
文章指出企业 AI 的竞争优势正从模型能力转向模型周边的工程系统，即推理服务框架，涉及架构、内存管理、调度与优化。作者认为应根据业务负载约束选择架构，在延迟、并发、GPU 利用率与成本之间取得平衡。
MIT Technology Review – AI10 天前
★ 2
LLMPanel 开源 LLM 部署控制面板，支持一键自托管推理
开源项目 LLMPanel 发布自托管 LLM 推理控制面板，用户指向 GPU 服务器或云 GPU 账户、选择模型即可获得 OpenAI 兼容端点，内置 API 密钥管理、用量分析与聊天测试场。项目支持 RunPod、Vast.ai 等云 GPU，无需编写 Dockerfile 或 nginx 配…
Hacker News – LLM12 天前
★ 1