★ 3
Janas 发布：从 SSD 流式加载专家，笔记本跑超内存大模型
开源项目 Janas-LLM 用 C 语言编写，通过从 NVMe SSD 流式加载 MoE 专家权重，让 80B 参数模型在 32GB 内存笔记本上运行。实测 Qwen3-Next-80B 达 37 tok/s，全面快于 llama.cpp，支持 Linux 与 Windows。
Hacker News20 天前
#llama.cpp
共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Flux：将LLM编译到硬件再提供服务
Flux 是一个面向 LLM 推理的实测执行规划器与运行时，会测量 GPU、CPU 与存储性能，搜索模型层与 MoE 权重的放置方案，并在真实提示上计时选出最快方案。它基于定制版 llama.cpp，支持 148 种架构，并可通过 OpenAI 兼容 API 提供服务。
Hacker News – LLM25 天前
★ 2
越狱 PS5 上跑 llama.cpp，原生运行任意 GGUF 模型
开发者发布 PS5LM 项目，在越狱的 PS5 上通过 llama.cpp 与 Vulkan 后端原生运行 GGUF 模型，将主机变成家庭私有模型服务器。项目还支持决策模型与 OpenAI、Anthropic 兼容 API，供局域网内设备调用。
Hacker News16 天前
★ 2
Nibia Fabric：将普通电脑组成共享AI算力集群
Nibia Fabric 是一个开源分布式 LLM 推理系统，可聚合 macOS、Linux、Windows 机器的 CPU 与内存，基于 llama.cpp 实现容量感知调度、自适应内存预留与持久张量缓存，并提供 OpenAI 兼容 API。作者已在三台物理机上验证 30B 级 Qwen 与 G…
Hacker News – AI34 天前
★ 2
llama.cpp 实现更快的提示词查找草稿
llama.cpp 项目引入更快的 prompt lookup drafting 技术，用于加速大模型推理中的草稿生成。该话题在Hacker News获得65分热度与10条评论，受到本地推理开发者关注。
Hacker News36 天前
★ 2
Ollama 0.30改进GGUF模型支持
Ollama 0.30现已发布，通过llama.cpp改进了性能和GGUF模型兼容性。这补充了Ollama在Apple Silicon上的MLX引擎，为更多硬件上的更多模型提供支持。
Ollama Blog150 天前
这个主题的相关资产
相关公司Ollama1