Flux：将LLM编译到硬件再提供服务
Flux 是一个面向 LLM 推理的实测执行规划器与运行时，会测量 GPU、CPU 与存储性能，搜索模型层与 MoE 权重的放置方案，并在真实提示上计时选出最快方案。它基于定制版 llama.cpp，支持 148 种架构，并可通过 OpenAI 兼容 API 提供服务。