Data Selection（数据选择）

数据选择方法可分为静态和动态两类。静态方法基于启发式指标（如长度、困惑度）或聚类选择代表性子集；动态方法在训练过程中根据模型反馈选择样本，如主动学习中的不确定性采样。近年来，数据选择在预训练语言模型中受到关注，例如GPT-3使用基于质量分类器的筛选。关键技术包括影响函数、数据蒸馏和基于梯度的样本重要性评估。有效的数据选择能显著减少计算成本并提升模型泛化能力。