#Common Crawl

研究：面向 LLM 预训练数据的主机感知网页爬取

论文研究爬虫如何在主机间与主机内分配预算以获取更多高质量预训练数据，发现约一半质量分类器分数差异来自主机之间。模拟显示，先用少量页面采样估计主机质量再加深爬取，比均匀深度或基于中心性的分配能多收集数倍高质量页面。