Flide 发布决策模型推理引擎,比 vLLM 快 9.5 倍
原文标题:Show HN: Flide: Make Jev-like decision models up to 9.5x faster
重要度 2/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。
Flide 是面向 Jev 类决策模型的快速推理基础设施,通过精确状态分叉实现单请求独立作答。官方称其速度最高达 vLLM 与 SGLang 的 9.5 倍,并已在 H200 上给出多模型基准数据。项目以 Apache-2.0 开源,支持 /v1/systemone API。
AI 处理过程展开/收起
相关推荐
OpenAI 据悉计划采购谷歌 TPU 芯片,降低对英伟达依赖
AI 摘要据报道,OpenAI 正计划采购谷歌自研的张量处理单元(TPU),以扩大算力规模并实现芯片供应多元化,双方尚未敲定最终条款。OpenAI 同时在推进与博通合作、代号 Jalapeno 的自研 AI 芯片。若交易落地,将直接冲击英伟达在 AI 加速芯片市场的主导地位,并重塑云厂商与大模型公司的算力供应格局。
阿联酋因伊朗袭击调整 5GW AI 数据中心计划
AI 摘要据路透社报道,在遭受伊朗袭击后,阿联酋修订了其 5GW AI 数据中心建设计划。该事件凸显地缘政治冲突对中东地区大规模 AI 基础设施投资的直接冲击,可能影响全球算力布局与供应链。
英伟达预计单季营收达1080亿美元
AI 摘要英伟达预测未来几个月内营收将达到1080亿美元,有望成为继亚马逊、苹果和Alphabet之后又一家季度营收超千亿美元的公司。其数据中心营收同比增长一倍以上,利润也大幅增长。
谷歌推出两款新版 TPU 芯片,加速追赶英伟达
AI 摘要谷歌推出两款全新版本张量处理单元(TPU),用于训练和运行 AI 软件,并支持机密计算与更广范围信息调取,适配 AI 智能体趋势。谷歌芯片业务以往每两年推出一款新 AI 处理器,今年一次性发布两款,并将于周一官宣 8tx、8i Max 细分变体。芯片负责人阿明·瓦德特称四款产品分别适配不同需求,强调专用化方向。