#GGUF

共 6 篇相关资讯，按重要度与时间排序，每 3 小时更新。

★ 3

GGUF、GPTQ、AWQ、EXL2 模型格式解析

一篇指南系统对比 GGUF、GPTQ、AWQ、EXL2 与 EXL3 等 LLM 模型格式，区分文件容器与量化方法两类概念。文章解释每权重比特数、校准与硬件适配，并给出 Mac、消费级 GPU 与生产部署的选型建议。

MarkTechPost44 天前

★ 2

开源工具 NeuronDump 将本地 LLM 可视化为 3D 图并剪枝

开发者发布开源工具 NeuronDump，可将 GGUF 格式本地模型以 3D 图形式展开，查看层、注意力头与词表结构。用户能切除冗余部分并导出更小的 GGUF，仍可在 Ollama 与 llama.cpp 中运行，并支持模拟剪枝影响。

Hacker News – LLM7 天前

★ 2

MDMA 开源联邦式 LLM 推理引擎发布

MDMA（Model Dispatch and Memory Allocator）是一款开源联邦式 LLM 推理引擎，支持在用户自有设备上运行模型并互相私有服务。它内置 GGUF 加载器、KV 缓存与手写计算内核，通过 gRPC 与强制 mTLS 通信，目前处于实验阶段。

Hacker News – LLM20 天前

★ 2

Jinfer：面向 JVM 的 AI 推理引擎

开发者发布 Jinfer，一个纯 JVM 的 AI 推理引擎，支持聊天、视觉、音频、嵌入、重排与 TTS，无需 Python 运行时、ONNX 或 Docker。底层包含纯 Java 分词器、GGUF/Safetensors 读写、量化矩阵乘内核与多后端张量 API。目前为仅 CPU 的早期版本，…

Hacker News – AI48 天前

★ 2

Ollama 0.30改进GGUF模型支持

Ollama 0.30现已发布，通过llama.cpp改进了性能和GGUF模型兼容性。这补充了Ollama在Apple Silicon上的MLX引擎，为更多硬件上的更多模型提供支持。

Ollama Blog150 天前

★ 1

Reflex：GGUF 原生 Rust/CUDA 引擎实现 LLM 零规模路由

开发者发布 Reflex，一个基于 Rust 与 CUDA 的 GGUF 原生推理引擎，主打 scale-to-zero 的 LLM 路由能力。该工具在 Hacker News 的 Show HN 板块亮相，目前关注度较低，尚未有评论。