★ 3
UltraData-Code 发布四层代码数据并开源数据集与分类器
论文提出 UltraData-Code 分层数据管理方案，将原始仓库数据依次处理为标准化代码（L1）、算法筛选数据（L2，约 400B tokens，覆盖 11 种语言）与任务化合成数据（L3，约 150B tokens）。在 1B 模型 10B token 持续预训练中，L2 较 L1 在 Ev…
arXiv cs.LG13 天前
#预训练数据
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
研究：面向 LLM 预训练数据的主机感知网页爬取
论文研究爬虫如何在主机间与主机内分配预算以获取更多高质量预训练数据，发现约一半质量分类器分数差异来自主机之间。模拟显示，先用少量页面采样估计主机质量再加深爬取，比均匀深度或基于中心性的分配能多收集数倍高质量页面。
arXiv NLP21 天前