★ 2
spinf-serve 开源：单卡批量打分与决策推理服务器
开发者发布 Apache 2.0 许可的 spinf-serve 推理服务器，可在单张 24GB 英伟达 GPU 上对同一内容一次读取回答多个分类与决策问题，输出各选项概率而非生成文本，并提供 OpenAI 兼容 API。该引擎面向大规模新闻分类等批量场景，主打吞吐而非单请求延迟。
Hacker News2 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
开发者发布 Apache 2.0 许可的 spinf-serve 推理服务器，可在单张 24GB 英伟达 GPU 上对同一内容一次读取回答多个分类与决策问题，输出各选项概率而非生成文本，并提供 OpenAI 兼容 API。该引擎面向大规模新闻分类等批量场景，主打吞吐而非单请求延迟。