AI 事件专题★ 3
个人开发者用免费 TPU 训练出 Kisoku 1.6B 模型
10-10 02:48 首发·1 家媒体·1 篇报道·持续 1 天·大模型
开发者 Joseph Rodriguez 借助谷歌 TPU Research Cloud 的 TPU v4-32，从零预训练出 1.6B 参数的 Kisoku 模型，仅用约 0.5 万亿 token，在 10 项基准测试中与 Meta Llama 3.2 1B 打平，训练数据量少约 18 倍。模型支持 64K 上下文（YaRN 扩展至 128K），代码与报告以 Apache 2.0 开源。