UltraData-Code 发布四层代码数据并开源数据集与分类器
原文标题：UltraData-Code: From Raw Repositories to Algorithmically Dense and Task-Oriented Code Data
重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。
论文提出 UltraData-Code 分层数据管理方案，将原始仓库数据依次处理为标准化代码（L1）、算法筛选数据（L2，约 400B tokens，覆盖 11 种语言）与任务化合成数据（L3，约 150B tokens）。在 1B 模型 10B token 持续预训练中，L2 较 L1 在 EvalPlus 提升 7.80 个百分点，混入 L3 后再提升 8.42 个百分点，数据集与分类器已开源。
深读 · 结论先行AI 生成展开看要点与影响 ↓
UltraData-Code四层代码数据开源，L2+L3使EvalPlus累计提升超16个百分点
- •四层数据状态：L0仓库归档保留溯源，L1标准化自然代码，L2算法筛选（约400B tokens、11种语言），L3任务化合成（约150B tokens、同11种语言）
- •1B模型、10B token持续预训练下，L2较L1在EvalPlus提升7.80个百分点、MultiPL-E提升5.13个百分点
- •混入L3后，EvalPlus再提升8.42个百分点
- •数据集与分类器已开源
为什么重要：在高质量公开代码越来越难获取的背景下，给出「分层加工小数据池」替代「扩语料」的可复现方案，对做代码模型预训练与持续预训练的团队直接可用。
以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。
AI 处理过程展开/收起
相关推荐
DeepSeek 重磅开源 Agent 底座架构
AI 摘要DeepSeek 开源一套面向 Agent 的底座架构，据称 AI 已能自行定位 Bug 并提交 PR。该开源动作指向智能体工程化基础设施，可能影响 Agent 开发范式。
Mistral 开源万亿参数模型权重，主攻网络安全
AI 摘要Mistral 发布其万亿参数模型的权重，主打网络安全场景，称开放权重能让组织获得闭源模型无法提供的防御控制权。这是欧洲大模型厂商在开源路线上的又一次重要动作。
Mistral 开源 Mistral Large 4（Le Chonk）权重
AI 摘要Mistral 宣布以开放权重形式发布 Mistral Large 4，代号 Le Chonk。该消息在 Hacker News 引发 410 分热度与近百条讨论，标志 Mistral 继续坚持开源路线。
港科CMU联手岩山科技开源新模型，KV Cache砍99%吞吐提升6倍
AI 摘要香港科技大学、CMU与岩山科技联合开源新模型，通过将KV Cache压缩99%，实现单卡512路长推理并发、吞吐提升6倍。该成果显著降低长上下文推理的显存与成本压力。