#大模型部署

共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。

★ 4

Strata：在普通游戏PC上运行1250亿参数模型

开源项目Strata让用户仅用一张12-24GB显存的NVIDIA显卡加64GB内存，就能在Windows或Linux上运行1250亿参数的Qwen3.8-Flash-Next模型。实测在RTX 5070上可达每秒60-95个token，支持多卡并行与一键安装。

Hacker News – AI32 天前

★ 3

一篇 arXiv 论文展示如何将 975B 参数的大模型 Inkling 分布式运行在十一台 Intel AI PC 上。该工作探索了消费级 AI PC 集群承载超大模型推理的可行性，对边缘与本地部署有参考意义。

Hacker News – AI25 天前

★ 3

论文提出PELM，在传统DVFS调频基础上引入推测解码和可变验证深度两个工作负载维度，扩展优化空间以实现更节能的端侧LLM推理。在多种硬件和数据集上，PELM相比最先进功耗管理方法最高提速23.1%、能耗降低52.4%，同时保持任务性能。

arXiv cs.LG53 天前

★ 2

Skymizer 发布可 IP 授权的 AI 加速卡 HTX301，配备 384GB 显存，面向最高 700B 参数大模型的本地推理。产品定位为可授权 IP 的加速硬件方案。

Hacker News – AI13 天前