Continued Pretraining

继续预训练通常在大规模通用预训练（如 BERT、GPT）之后进行，使用领域语料（如医疗、法律）或任务相关数据，通过掩码语言建模等目标进一步优化模型参数。它比从头预训练成本低，又能显著提升领域性能，是迁移学习的重要环节。