Hacker News·20 天前★ 3

Janas 发布：从 SSD 流式加载专家，笔记本跑超内存大模型

原文标题：Janas: Run LLMs larger than RAM by streaming experts from SSD

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

开源项目 Janas-LLM 用 C 语言编写，通过从 NVMe SSD 流式加载 MoE 专家权重，让 80B 参数模型在 32GB 内存笔记本上运行。实测 Qwen3-Next-80B 达 37 tok/s，全面快于 llama.cpp，支持 Linux 与 Windows。

AI 处理过程展开/收起

原始标题：Janas: Run LLMs larger than RAM by streaming experts from SSD

AI 中文标题：Janas 发布：从 SSD 流式加载专家，笔记本跑超内存大模型

来源：Hacker News · 发布于 20 天前

分类：开源 · AI 重要度：★ 3（3）

标签：Janas / MoE / 本地推理 / SSD流式加载 / llama.cpp

关键词：Janas LLM / 本地大模型 / MoE 推理 / SSD 流式加载 / Qwen3 笔记本

AI 处理：2026/10/13 09:01:21 · 模型 deepseek-chat · 规则版本 2026-10-10.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐