各方报道 1 篇
Hacker News – LLM·10-15 01:05★ 3
BitRun 发布:CPU 上运行 1-bit LLM,苹果 M4 达 100T/s
原文 开发者发布 BitRun,一个零编译、自包含的 1-bit 三元 LLM 运行器与模型管理器,支持 macOS、Windows、Linux CPU。它封装微软 BitNet b1.58 原生推理引擎,可拉取 Hugging Face 模型、运行交互式聊天并启动 OpenAI 兼容 REST 服务。在 M4 Pro 上 BitNet 70M 生成速度达 1355 t/s,主打本地、低功耗、无 GPU 推理。