Hacker News – LLM·23 天前★ 3

个人开发者用免费 TPU 训练出 Kisoku 1.6B 模型

原文标题:Kisoku 1.6B: LLM trained solo from scratch on a TPU grant, matches Llama 3.2 1B

重要度 3/5 · AI 综合评估报道影响力与新鲜度,4–5 分为高价值资讯。

AI 智能摘要

开发者 Joseph Rodriguez 借助谷歌 Cloud 的 v4-32,从零预训练出 1.6B 参数的 Kisoku 模型,仅用约 0.5 万亿 ,在 10 项中与 3.2 1B 打平,训练数据量少约 18 倍。模型支持 64K (YaRN 扩展至 128K),代码与报告以 Apache 2.0 开源。

所属主题开源模型6
阅读原文 +0
AI 处理过程展开/收起
原始标题:Kisoku 1.6B: LLM trained solo from scratch on a TPU grant, matches Llama 3.2 1B
AI 中文标题:个人开发者用免费 TPU 训练出 Kisoku 1.6B 模型
来源:Hacker News – LLM · 发布于 23 天前
分类:大模型 · AI 重要度:★ 3(3)
标签:Kisoku / TPU / 开源模型 / 小模型 / 预训练
关键词:Kisoku 1.6B / TPU 训练大模型 / 开源小模型 / Llama 3.2 对比 / 个人训练 LLM
AI 生成以上内容由 AI 自动生成:中文标题、摘要、分类与重要度;同一事件的多家报道会自动归并展示。 内容仅供参考,可能存在偏差,请以原文为准, 不构成任何投资或专业建议。
版权归原作者与原发布平台所有;若涉及侵权或信息错误,请在举报与侵权投诉页反馈,我们会及时处理。
每天 09:30,3 条 AI 圈真正重要的变化,免费订阅 →
个人开发者用免费 TPU 训练出 Kisoku 1.6B 模型 - 智讯 AI News