各方报道 2 篇
arXiv NLP·11-02 13:00★ 3
Flide：精确状态分叉加速决策模型推理
原文 针对 Jev 等决策模型在现有生成式推理引擎上前缀重算开销大、输出概率失真的问题，论文提出 Flide 推理引擎，用 ForkAttention 在 GPU 常驻索引上跨标准注意力与 Gated DeltaNet 层导航请求依赖。在公开混合与决策模型上比 vLLM、SGLang 快至多 9.5 倍，且数值最接近 float32 参考。
Hacker News·11-09 12:43★ 2
Flide 发布决策模型推理引擎，比 vLLM 快 9.5 倍
原文 Flide 是面向 Jev 类决策模型的快速推理基础设施，通过精确状态分叉实现单请求独立作答。官方称其速度最高达 vLLM 与 SGLang 的 9.5 倍，并已在 H200 上给出多模型基准数据。项目以 Apache-2.0 开源，支持 /v1/systemone API。