★ 4
Strata：在普通游戏PC上运行1250亿参数模型
开源项目Strata让用户仅用一张12-24GB显存的NVIDIA显卡加64GB内存，就能在Windows或Linux上运行1250亿参数的Qwen3.8-Flash-Next模型。实测在RTX 5070上可达每秒60-95个token，支持多卡并行与一键安装。
Hacker News – AI32 天前
#本地推理
共 37 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
开源语音助手 Hey Spark 发布：本地唤醒，可接任意 LLM
开源项目 Hey Spark 推出面向笔记本的常驻语音助手，唤醒词、语音识别与合成均在本地 CPU 运行。其“大脑”可接 Claude、OpenAI 兼容模型或本地 Ollama，并通过 MCP 连接 GitHub、Gmail、日历等工具，执行改动前会语音确认。
Hacker News – LLM1 天前
★ 3
奥特曼称内存放数据中心比放个人电脑更合理
面对持续的内存短缺，OpenAI CEO 奥特曼在播客中表示，把有限的 DRAM 分散放在个人电脑里、仅使用 5% 时间是“非常糟糕”的，应集中在云端追求最大利用率。他同时提到三星、SK 海力士已与云厂商及 Stargate 项目签订长期协议，挤占了未来数年的内存产能。
The Verge AI2 天前
★ 3
CUDApp 在英伟达 DGX Spark 上不依赖 CUDA 跑本地 AI
开源项目 CUDApp 发布 CUDA++ 工具链，可在英伟达 DGX Spark（GB10，sm_121）上不经 CUDA 用户态软件直接生成并运行 GPU 机器码。项目称已在 Spark 上用纯 C 栈服务 Qwen3.6-35B-A3B 混合专家模型，运行时零 CUDA 库。目前属研究阶段，…
Hacker News – AI5 天前
★ 3
开发者用 Claude Code 写出 RTX 50 专用 LLM 服务器 Imp
开源项目 Imp 是仅面向英伟达 Blackwell（sm_120a）架构的 LLM 推理服务器，覆盖 RTX 5050 至 5090 及 RTX PRO 系列，一条 docker run 即可启动，兼容 OpenAI 与 Anthropic API。项目由 Claude Code 编写，在单张 …
Hacker News – LLM5 天前
★ 3
macOS 27 内置离线 LLM，可在终端通过 fm 命令调用
macOS 27 似乎将 Apple Foundation Models 直接开放到终端，用户可用 fm respond 提问、管道输入文本、通过 --schema 请求结构化 JSON，并用 fm serve 暴露本地端点。据称 M1 8GB 内存设备即可本地推理，上下文窗口 4K，较大请求可走…
Hacker News – LLM11 天前
★ 3
苹果 MLX 框架结合 RDMA 实现 Mac Studio 分布式大模型推理
苹果 MLX 开源数组框架利用 Apple Silicon 统一内存架构，让研究者在本地私有环境运行最新模型推理与微调。结合 RDMA 网络，多台 Mac Studio 可组成分布式集群进行大模型推理。此前苹果还介绍了 M5 架构及其 GPU 神经加速器的优势。
Apple Machine Learning Research18 天前
★ 3
Janas 发布：从 SSD 流式加载专家，笔记本跑超内存大模型
开源项目 Janas-LLM 用 C 语言编写，通过从 NVMe SSD 流式加载 MoE 专家权重，让 80B 参数模型在 32GB 内存笔记本上运行。实测 Qwen3-Next-80B 达 37 tok/s，全面快于 llama.cpp，支持 Linux 与 Windows。
Hacker News20 天前
★ 3
微软Surface RTX Spark开发机开启预售
微软搭载英伟达 Arm 架构 RTX Spark 平台的 Surface RTX Spark Dev Box 开启预售，售价约 5999 美元，预计 11 月发货。该机配备 128GB 统一内存与 Tensor 核心，可本地运行超过 1200 亿参数的模型，面向 AI 模型测试、代理原型与本地编码…
The Verge AI25 天前
★ 3
RigMark：按编码代理用法评测本地 AI
开发者发布 RigMark，一个面向 OpenAI 兼容本地推理设备的可复现服务基准，按编码代理真实使用方式测试散文、代码、结构化输出与预填充性能。它强调模型无关，可用于 Qwen、GLM、DeepSeek 及 vLLM、SGLang、DGX Spark 等栈，旨在用可追溯的「凭据」取代孤立的 t…
Hacker News – AI26 天前
★ 3
Ollama 支持 Jev 风格决策模型
Ollama 0.35 新增 /v1/systemone 端点，基于 TypeSafe 的 Jev API 支持本地决策模型，可对文本一次性回答是/否、选项与评分问题并给出各选项概率。本地运行延迟极低，Nimble 9B 在 M5 Max 上平均每次决策约 91ms，适合工单分流、模型路由与内容安…
Ollama Blog34 天前
★ 3
英伟达个人AI路由器本地分配AI任务
英伟达推出Personal AI Router，可将AI任务分配到本地计算资源上。该产品意在让个人设备更高效地调度本地算力处理AI任务，减少对云端的依赖，体现边缘AI与本地推理趋势。
InfoQ AI40 天前
★ 3
端侧AI从能跑到会进化，元空智能进入惠普预装
元空智能的端侧AI方案实现从“能跑”到“会进化”的升级，让模型与设备共同进化，并成功进入惠普设备的预装体系。这体现出端侧AI正从概念验证走向规模化预装落地，对本地推理与隐私计算具有推动意义。
量子位48 天前
★ 3
英伟达开源个人AI路由器PAIR
英伟达在 GitHub 发布 Personal AI Router（PAIR），一款面向局域网内多台兼容电脑的本地推理路由器。它可发现节点、管理推理引擎，并提供 Ollama 与 OpenAI 兼容的代理端点，适合多智能体等并发本地负载。PAIR 不聚合显存或拆分模型，仅将独立请求路由到合适节点。
Hacker News – AI52 天前
★ 3
Kimi K3 2.8T 模型在 MacBook Pro 上流式运行
Kimi K3 模型（2.8T 参数）在 MacBook Pro 上通过四块 SSD 流式加载，实现每秒 1 token 的推理速度。这一技术演示展示了在消费级硬件上运行超大模型的潜力，尽管速度较慢，但为本地部署提供了新思路。
Hacker News54 天前
★ 2
开发者用 Rust 写 LLM 上下文垃圾回收器 contextWatcher
开发者发布 Rust 编写的本地代理 contextWatcher（cw），针对 LLM 上下文膨胀问题做“垃圾回收”。它通过文件读取影子去重、工具输出裁剪、尾部规则固定和子代理前缀复用，避免 /compact 摘要破坏工作记忆与 KV 缓存。在双 AMD GPU 本地环境约 28k 上下文下，预…
Hacker News – LLM4 天前
★ 2
开源项目 ai-phone 发布：在电脑上运行 AI 电话代理
开发者开源 ai-phone，可在本地电脑上运行 AI 电话代理，支持呼入与呼出，语音识别与合成本地完成，仅将文本与对话历史发送给远程大模型。目前仅支持 Apple Silicon 与英文，单次通话，实测首次可听响应中位 1.5 秒。
Hacker News – AI5 天前
★ 2
开源项目 Narro 发布：浏览器本地 AI 语音朗读网页与 Kindle 书籍
开发者发布开源 Chrome 扩展 Narro，使用浏览器内运行的开放权重 TTS 模型朗读网页，并支持 Kindle 在线阅读器。它通过本地 OCR 识别 Kindle 页面图像，全程离线处理，无需账号与服务器。
Hacker News – AI8 天前
★ 2
技术博客探讨外接 GPU 用于本地 LLM 推理
一篇技术博客介绍了使用外接 GPU（eGPU）进行本地大模型推理的实践与经验。内容涉及硬件配置、性能表现及适用场景，面向希望本地部署 LLM 的开发者。
Hacker News – LLM12 天前
★ 2
Leviathan 推出本地 GPU 原生 LLM 推理应用
Leviathan 是一款把语言模型直接加载进显卡显存的本地推理应用，无需服务器、云账号或 Python 环境，并支持跨会话记忆、免重训练的知识注入以及供其他程序调用的接口。项目在 RTX 4080 上以 Qwen 2.5 Coder 7B 实机演示。
Hacker News – LLM14 天前
★ 2
开发者用 Qwen 做 C 转 WASM 编译器 Neurastheniacc
开源项目 neurastheniacc 把受限子集的 C 代码通过本地 Qwen 模型翻译成 WAT，再编译为 WASM 字节码，全程离线、无需 API。项目以戏谑口吻展示 LLM 作为编译器前端的可能性，但仅支持单函数、32KiB 以内的极小 C 子集。
Hacker News – LLM14 天前
★ 2
开发者发布 Sys2txt：本地 Whisper 实时转录系统音频
开发者推出命令行工具 sys2txt，通过 PulseAudio/PipeWire 监听源录制 Linux 系统播放的音频，并用 Whisper 本地实时转录。工具支持 faster-whisper、openai-whisper 与 whisper.cpp（含 AMD Vulkan GPU 加速）…
Hacker News – LLM15 天前
★ 2
越狱 PS5 上跑 llama.cpp，原生运行任意 GGUF 模型
开发者发布 PS5LM 项目，在越狱的 PS5 上通过 llama.cpp 与 Vulkan 后端原生运行 GGUF 模型，将主机变成家庭私有模型服务器。项目还支持决策模型与 OpenAI、Anthropic 兼容 API，供局域网内设备调用。
Hacker News16 天前
★ 2
用 vLLM 实现规模化本地 LLM 推理
Data4Sci 发布博客，介绍如何借助 vLLM 在本地实现规模化的大语言模型推理。文章面向工程实践，讲解吞吐优化与部署要点，适合自建推理服务的开发者参考。
Hacker News – LLM22 天前
★ 2
用 vLLM 实现大规模本地 LLM 推理
Data4Sci 发布教程，介绍如何借助 vLLM 在本地实现大规模大语言模型推理。内容面向希望自建推理服务的开发者，属于技术实践类文章。
Hacker News – LLM23 天前
★ 2
IronBee 开源 30ms 本地模型玩浏览器游戏
IronBee 发布开源项目 ironbee-gamer，通过 LLM 为每款浏览器游戏生成规则配置，再由 30ms 级本地决策引擎实时操作游戏。项目无需游戏 API 或钩子，支持 Flappy Bird、Dino 等游戏，并可在本地 Web UI 中查看每次决策的状态与概率。
Hacker News – LLM24 天前
★ 2
Windows 上的 AI 开发：从 PyTorch 到 Windows ML
微软发布博客介绍在 Windows 平台上进行 AI 开发的路径，涵盖 PyTorch、Llama.cpp 到 Windows ML 的迁移与集成。此举意在强化 Windows 作为本地 AI 开发与推理平台的生态位。
Hacker News – AI25 天前
★ 2
Underdog：主打隐私安全的本地端侧个人AI
Underdog推出面向个人用户的本地端侧AI方案，强调数据不出设备，以隐私与安全为核心卖点。该产品顺应端侧推理与隐私计算趋势，试图在云端大模型之外提供替代选择。
Hacker News – AI30 天前
★ 2
Clipx：macOS开源AI原生创意套件
Clipx 是一款面向 macOS 的开源 AI 原生创意套件，整合视频、照片、PDF 与 LaTeX 编辑，支持 AI 助手代操作。强调无订阅、无账号、无上传，可离线运行 Ollama 模型。需 macOS 14 及 Apple 芯片。
Hacker News – AI32 天前
★ 2
AMD 为 Radeon 核显提升 AI/LLM 性能 18~23%
Phoronix 报道称，AMD 在 Linux 7.4 下为 Radeon 集成显卡带来最高 18~23% 的 AI/LLM 性能提升。此举有助于在核显设备上更高效地运行本地大模型推理。
Hacker News – AI33 天前
2026-W42本周推理方向有两件事：AI token价格持续通缩，以及OpenAI研究员就推理可见性引发争议。前者意味着推理成本下降正改变产品定价逻辑，后者则暴露「模型是否展示思考过程」在透明度与竞争间的张力。两条线共同指向推理能力商品化后的新矛盾。