★ 3
BitRun 发布:CPU 上运行 1-bit LLM,苹果 M4 达 100T/s
开发者发布 BitRun,一个零编译、自包含的 1-bit 三元 LLM 运行器与模型管理器,支持 macOS、Windows、Linux CPU。它封装微软 BitNet b1.58 原生推理引擎,可拉取 Hugging Face 模型、运行交互式聊天并启动 OpenAI 兼容 REST 服务。…
Hacker News – LLM18 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
开发者发布 BitRun,一个零编译、自包含的 1-bit 三元 LLM 运行器与模型管理器,支持 macOS、Windows、Linux CPU。它封装微软 BitNet b1.58 原生推理引擎,可拉取 Hugging Face 模型、运行交互式聊天并启动 OpenAI 兼容 REST 服务。…
GitHub 项目 PCEI(Physically Constrained Emergent Intelligence)提出一种反对单体 Transformer 的架构方案,结合 BitNet 1.58B 三值量化、Mamba 选择性状态空间与 FastKAN。项目声称 7.5 亿参数模型可在单张…
一个项目在7块ESP32S3微控制器组成的集群上分布式运行切片后的0.5B大语言模型,采用1.58位BitNet架构。主节点负责分词与嵌入,其余节点通过高速SPI菊花链通信执行注意力层与MLP,展示了极低比特量化模型在边缘硬件上的可行性。