Hacker News·8 小时前★ 3

开发者让大模型跑在小米电视盒子与初代 iPad Air 上

原文标题:I'm making LLMs work on small and old devices

重要度 3/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。

AI 智能摘要

开源项目 smolmaxxing 在小米电视盒子 S(3 代)与 2013 年初代 iPad Air 上实测运行 260K 到 16B 参数的语言模型,iPad 上 1.7B 模型可达 24-26 tok/s。项目通过 1-bit 查表内核、专家权重流式加载等手段突破内存与闪存带宽瓶颈,全部实验记录在 EXPERIMENT.md。

所属主题开源21
阅读原文 +0
AI 处理过程展开/收起
原始标题:I'm making LLMs work on small and old devices
AI 中文标题:开发者让大模型跑在小米电视盒子与初代 iPad Air 上
来源:Hacker News · 发布于 8 小时前
分类:应用产品 · AI 重要度:★ 3(3)
标签:端侧推理 / 小模型 / 边缘设备 / 量化 / 开源
关键词:端侧大模型 / 小米电视盒子 跑大模型 / iPad 本地大模型 / 小模型推理优化 / MoE 流式加载
AI 处理:2026/11/13 03:01:18 · 模型 deepseek-chat · 规则版本 2026-10-21.1
AI 生成以上内容由 AI 自动生成:中文标题、摘要、分类与重要度;同一事件的多家报道会自动归并展示。 内容仅供参考,可能存在偏差,请以原文为准, 不构成任何投资或专业建议。
版权归原作者与原发布平台所有;若涉及侵权或信息错误,请在举报与侵权投诉页反馈,我们会及时处理。
每天 09:30,3 条 AI 圈真正重要的变化,免费订阅 →
内容有误或摘要不准?告诉我们
开发者让大模型跑在小米电视盒子与初代 iPad Air 上 - 智讯 AI News