★ 3
UltraData-Code 发布四层代码数据并开源数据集与分类器
论文提出 UltraData-Code 分层数据管理方案，将原始仓库数据依次处理为标准化代码（L1）、算法筛选数据（L2，约 400B tokens，覆盖 11 种语言）与任务化合成数据（L3，约 150B tokens）。在 1B 模型 10B token 持续预训练中，L2 较 L1 在 Ev…
arXiv cs.LG13 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 UltraData-Code 分层数据管理方案，将原始仓库数据依次处理为标准化代码（L1）、算法筛选数据（L2，约 400B tokens，覆盖 11 种语言）与任务化合成数据（L3，约 150B tokens）。在 1B 模型 10B token 持续预训练中，L2 较 L1 在 Ev…