★ 3
个人开发者用免费 TPU 训练出 Kisoku 1.6B 模型
开发者 Joseph Rodriguez 借助谷歌 TPU Research Cloud 的 TPU v4-32，从零预训练出 1.6B 参数的 Kisoku 模型，仅用约 0.5 万亿 token，在 10 项基准测试中与 Meta Llama 3.2 1B 打平，训练数据量少约 18 倍。模型…
Hacker News – LLM23 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
开发者 Joseph Rodriguez 借助谷歌 TPU Research Cloud 的 TPU v4-32，从零预训练出 1.6B 参数的 Kisoku 模型，仅用约 0.5 万亿 token，在 10 项基准测试中与 Meta Llama 3.2 1B 打平，训练数据量少约 18 倍。模型…