llama-modchip 开源:64GB 内存无 GPU 跑 284B DeepSeek-V4-Flash
原文标题:Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU
重要度 3/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。
开源项目 llama-modchip 发布预编译 Linux x86_64 二进制,可在纯 CPU、64GB 内存环境下运行 284B 参数的 DeepSeek-V4-Flash(56.56 GiB,9.1–14.7 tok/s),无需 GPU 与 NVMe 交换。项目采用自定义 Fractal-64 量化张量类型(GGML_TYPE_Q2_0,type ID 40),与未打补丁的 llama.cpp、Ollama、LM Studio 不兼容,需使用其自带二进制。同时支持 30B Nemotron-3.5-A3B 在 16–32GB 内存运行。
AI 处理过程展开/收起
相关推荐
腾讯混元发布开源模型 Hy4,实测搭配 WorkBuddy 做多模态 Agent
AI 摘要腾讯混元推出新一代开源模型 Hy4,作者实测将其与 WorkBuddy 搭配,展示多模态 Agent 的任务交付能力。该模型被视为国产开源阵营中性能靠前的新选手,进一步加剧开源大模型竞争。
Kimi 领衔中国 AI 模型主导开源企业支出
AI 摘要据南华早报报道,以月之暗面 Kimi 为代表的中国 AI 模型在开源模型的企业级支出中占据主导地位。这显示中国开源模型在成本敏感的企业市场中获得显著采用,正在改变全球开源模型竞争格局。
2026 PyTorch 大会:谷歌与 Meta 开源 TorchTPU,原生支持 TPU 运行 PyTorch
AI 摘要在 2026 年 PyTorch 大会上,谷歌与 Meta 宣布开源 TorchTPU,使 PyTorch 能在 TPU 上获得原生支持。此举有望降低开发者在谷歌 TPU 上训练与部署模型的迁移成本,强化 PyTorch 生态与 TPU 硬件的结合。
腾讯发布开源模型 Hy4,跻身领先开源行列
AI 摘要腾讯推出开源 AI 模型 Hy4,被评价为当前领先的开源模型之一。该发布进一步加剧中国厂商在开源大模型领域的竞争。