#本地大模型

共 10 篇相关资讯，按重要度与时间排序，每 3 小时更新。

★ 3

Flint 40B 发布：可在 MacBook 本地运行，速度达 125 Tps

Richard Socher 在社交平台介绍 Flint 40B，一款面向本地部署的前沿大模型，在 MacBook 上可达每秒 125 token 的生成速度。该模型主打本地化与高吞吐推理。

Hacker News – LLM11 天前

★ 3

BudgetBench：本地 LLM 智能体记忆策略评测协议

论文提出 BudgetBench，一种以每次调用输入 token 预算为自变量的评测协议与参考工具，用于比较本地大模型智能体的记忆策略。它在 2K 至 32K 预算区间扫描，记录质量、预算利用率、延迟与预算违规率，并揭示单预算评测掩盖的合规失败与非单调质量曲线。作者开源了协议、工具与可复现产物。

arXiv cs.LG48 天前

★ 3

绿联发布AIoT生态与本地算力产品

绿联科技在厦门举办全球发布会，发布充电安全生态与AIoT生态产品，切入AI NAS、家庭智能体与本地算力设备。其MasterAgent搭载NVIDIA Jetson Thor T5000，算力达2070 TFLOPs，可本地运行122B大模型，试图成为家庭本地算力调度中心。

36氪48 天前

★ 2

Draggy 开源 Windows 本地与云端 AI 编程助手

Draggy 是一款面向 Windows 的开源桌面 AI 助手与编程代理，内置 llama.cpp 引擎可本地运行 GGUF 模型，无账号、无遥测。其编程模式可在项目文件夹中读写文件、执行命令并以 diff 形式展示改动，支持四种权限模式。

Hacker News – AI8 天前

★ 2

GhostOS 开源轻量离线桌面 AI 助手，支持 4GB 内存设备

GhostOS 在 GitHub 开源，是一款可在 4GB–8GB 内存的低配笔记本与基础款 Apple Silicon Mac 上运行的离线桌面 AI 助手。它通过动态显存调度热切换 Qwen 2.5、Llama 3.2、Moondream2、Whisper 等小模型，并采用基于 SQLite …

Hacker News – AI14 天前

★ 2