★ 3
BitRun 发布:CPU 上运行 1-bit LLM,苹果 M4 达 100T/s
开发者发布 BitRun,一个零编译、自包含的 1-bit 三元 LLM 运行器与模型管理器,支持 macOS、Windows、Linux CPU。它封装微软 BitNet b1.58 原生推理引擎,可拉取 Hugging Face 模型、运行交互式聊天并启动 OpenAI 兼容 REST 服务。…
Hacker News – LLM18 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
开发者发布 BitRun,一个零编译、自包含的 1-bit 三元 LLM 运行器与模型管理器,支持 macOS、Windows、Linux CPU。它封装微软 BitNet b1.58 原生推理引擎,可拉取 Hugging Face 模型、运行交互式聊天并启动 OpenAI 兼容 REST 服务。…