#本地部署

共 66 篇相关资讯，按重要度与时间排序，每 3 小时更新。

★ 4

Mistral 发布 Large 4 模型，瞄准企业网络安全

法国 Mistral AI 发布 Large 4（ML4）模型，具备先进编程与网络防御能力，可本地部署。模型总参数 1.05 万亿、激活约 520 亿，使用 3800 颗英伟达 Grace Blackwell GPU 在欧洲数据中心训练，主打以更少算力实现领先性能。

36氪2 天前

★ 3

LLaMA3.3-70B 提取卒中病历变量准确率达 94.8%

研究评估基于提示的 LLM 框架，从三家医院 2416 份神经介入急性卒中手术报告中提取 8 项临床变量，测试 22 个开源指令微调模型。LLaMA3.3-70B 配合思维链提示整体准确率最高达 94.8%，专家裁定显示 AI 预测多数变量比非专家标注更贴近专家判断，但颅内血管成形术仍是难点。

arXiv NLP3 天前

★ 3

北海道大学医院部署本地 LLM 智能体平台 LLENS

日本北海道大学医院在封闭内网中部署了临床支持 AI 智能体平台 LLENS，基于 8 块英伟达 H200 GPU 与约 1 万亿参数的开源模型 Kimi K2.6，并重建了 Web 前端。该系统在 180 道院内文档问答上，交互式访问准确率达 97.2%，显著高于固定检索的 81.3%。平台自 2…

arXiv NLP7 天前

★ 3

IBM CEO 称开源权重模型已足够好且本地部署便宜

IBM CEO 表示，开源权重模型如今质量出色、成本低廉，非常适合企业本地部署。此番表态凸显开源模型对企业 AI 部署策略的冲击，也呼应 IBM 对混合云与本地化 AI 的押注。

Hacker News7 天前

★ 3

Block 发布 Dessa 语音模型，仅用人类对话训练

Jack Dorsey 旗下 Block 发布 AI 语音模型 Dessa，完全基于人类对话从零训练，是真正的语音到语音全双工模型，可在 MacBook Pro M4 Max 本地运行。官方称其目标是提升人机理解与语音情感安全，将向少量 AI 安全研究者开放早期访问。

The Verge AI9 天前

★ 3

Recursive 发布 Flint 笔记本编程模型，称主要由 AI 构建

初创公司 Recursive 推出免费、可在笔记本本地运行的编程模型 Flint。该模型大部分由其自研 AI 研究系统构建，被视为 AI 自我改进的早期试验。此举探索了用 AI 加速 AI 研发的路径。

TechCrunch AI11 天前

★ 3

BitRun 发布：CPU 上运行 1-bit LLM，苹果 M4 达 100T/s

开发者发布 BitRun，一个零编译、自包含的 1-bit 三元 LLM 运行器与模型管理器，支持 macOS、Windows、Linux CPU。它封装微软 BitNet b1.58 原生推理引擎，可拉取 Hugging Face 模型、运行交互式聊天并启动 OpenAI 兼容 REST 服务。…

Hacker News – LLM18 天前

★ 3

Redis作者推出本地运行LLM的ds4

Redis创始人发布ds4，一款可在本地运行大语言模型的工具，引发开发者社区关注。该项目主打本地化部署，降低对云端算力的依赖。

Hacker News30 天前

★ 3

K-Dense BYOK：本地运行的开源AI科研助手

K-Dense BYOK是一款免费开源、在研究者本地电脑运行的AI科研助手，用户自带模型密钥，项目以普通文件夹形式保存数据、代码与记录。它提供科学流程库、工作流模板、审稿与写作角色，并维护只增不删的活体实验记录本，通过观察智能体行为而非采信其自述来记录过程。在20个跨学科研究提示上，其在科学质量与…

arXiv cs.AI31 天前

★ 3

Magnitude：面向智能体的自优化推理引擎

YC S25 创业公司 Magnitude 推出开源推理引擎，可在本地设备上编译并调优内核，使开源模型运行速度最高达 llama.cpp 的两倍。一键即可连接 Pi、Codex、Claude Code 等现有智能体，支持 Apple Silicon、NVIDIA、AMD 及纯 CPU，数据全程本地…

Hacker News32 天前

★ 3

笔记本跑7000亿参数GLM，SSD当显存

开源项目Colibrì在GitHub走红，实现无GPU环境下用SSD充当显存运行7000亿参数GLM大模型。该方案大幅降低大模型本地部署的硬件门槛。

量子位37 天前

★ 3

MiniMax H3 开源后本地 AIGC 走向何方

MiniMax H3 开源后，本地 AIGC 的发展现状引发讨论。文章探讨开源模型对本地生成式 AI 应用的影响与走向。

InfoQ AI41 天前

★ 3

开源本地化全能AI平台ENZO发布

开发者发布开源项目 ENZO，一个可本地部署的全功能 AI 平台，支持接入 300 多个模型并构建智能体。用户自带 API 密钥，请求直接发往所选服务商，平台不抽成、无账号、无订阅。项目提供 Docker 一键部署与 Colab 托管方案，强调密钥本地加密与完整威胁模型文档。

Hacker News43 天前

★ 3

AI本地部署性能差异元凶：734个依赖包

研究发现，AI本地部署与官方版性能差异的根源在于推理软件栈的微小差异，涉及多达734个依赖包，每个都可能影响输出结果。

量子位64 天前

★ 3

Ollama Windows预览版发布

Ollama推出Windows原生预览版，支持拉取、运行和创建大语言模型。该版本内置GPU加速，可访问完整模型库，并提供兼容OpenAI的API接口。

Ollama Blog991 天前

★ 2

Open Rock 开源 AI 聊天界面，支持 AWS Bedrock 模型

Open Rock 是一个开源 AI 聊天界面，可统一接入 AWS Bedrock 全部模型与自建服务器模型，支持网页与 Tauri 桌面端。提供按模型区分的参数设置、文件上传、用量与成本统计，API 密钥保留在服务端。

Hacker News – AI2 天前

★ 2

Dodaios 开源桌面智能体操作系统，语音驱动 Claude Code 与 Codex

Dodaios（原 Personal Jarvis）是一款开源桌面智能体操作系统，可通过语音或聊天在本地驱动 Claude Code、Codex 等编码智能体，支持 Windows、macOS、Linux。它无需账号与付费层，用户自带 API Key 或本地模型，所有可能改动系统的操作都需审批，并…

Hacker News – AI3 天前

★ 2