★ 2
Liquid Inference 推出 LLM 推理竞价市场与自动路由
Liquid Inference 将交易系统与交易所经验应用于 LLM 推理，让模型提供商在开放市场上竞价，并配以智能自动路由器，按预设质量等级实时选择最低成本。目前对 Kimi、GPT、GLM 更便宜，支持区域、零数据保留、提供商白名单等自定义路由设置。
Hacker News – LLM24 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
Liquid Inference 将交易系统与交易所经验应用于 LLM 推理，让模型提供商在开放市场上竞价，并配以智能自动路由器，按预设质量等级实时选择最低成本。目前对 Kimi、GPT、GLM 更便宜，支持区域、零数据保留、提供商白名单等自定义路由设置。