★ 2
ESP32S3集群运行1.58位BitNet模型
一个项目在7块ESP32S3微控制器组成的集群上分布式运行切片后的0.5B大语言模型,采用1.58位BitNet架构。主节点负责分词与嵌入,其余节点通过高速SPI菊花链通信执行注意力层与MLP,展示了极低比特量化模型在边缘硬件上的可行性。
Hacker News34 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
一个项目在7块ESP32S3微控制器组成的集群上分布式运行切片后的0.5B大语言模型,采用1.58位BitNet架构。主节点负责分词与嵌入,其余节点通过高速SPI菊花链通信执行注意力层与MLP,展示了极低比特量化模型在边缘硬件上的可行性。