Hacker News·1 天前★ 3

-modchip 开源:64GB 内存无 GPU 跑 284B -V4-Flash

原文标题:Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU

重要度 3/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。

AI 智能摘要

开源项目 -modchip 发布预编译 Linux x86_64 二进制,可在纯 CPU、64GB 内存环境下运行 284B 参数的 -V4-Flash(56.56 GiB,9.1–14.7 tok/s),无需 GPU 与 NVMe 交换。项目采用自定义 Fractal-64 量化张量类型(GGML_TYPE_Q2_0,type ID 40),与未打补丁的 llama.cpp、、LM Studio 不兼容,需使用其自带二进制。同时支持 30B Nemotron-3.5-A3B 在 16–32GB 内存运行。

阅读原文 +0
AI 处理过程展开/收起
原始标题:Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU
AI 中文标题:llama-modchip 开源:64GB 内存无 GPU 跑 284B DeepSeek-V4-Flash
来源:Hacker News · 发布于 1 天前
分类:开源 · AI 重要度:★ 3(3)
标签:llama-modchip / DeepSeek / CPU 推理 / 量化 / MoE
关键词:llama-modchip / DeepSeek-V4-Flash / CPU 推理大模型 / 本地部署大模型 / GGUF 量化
AI 处理:2026/11/8 21:01:16 · 模型 deepseek-chat · 规则版本 2026-10-21.1
AI 生成以上内容由 AI 自动生成:中文标题、摘要、分类与重要度;同一事件的多家报道会自动归并展示。 内容仅供参考,可能存在偏差,请以原文为准, 不构成任何投资或专业建议。
版权归原作者与原发布平台所有;若涉及侵权或信息错误,请在举报与侵权投诉页反馈,我们会及时处理。
每天 09:30,3 条 AI 圈真正重要的变化,免费订阅 →
内容有误或摘要不准?告诉我们
llama-modchip 开源:64GB 内存无 GPU 跑 284B DeepSeek-V4-Flash - 智讯 AI News