Span Masking（片段掩码）

Span Masking在预训练中随机选择连续的词片段进行遮盖，而非独立遮盖单个词。这种方法更接近真实语言中的缺失模式，迫使模型学习更长的上下文依赖。SpanBERT等模型采用此策略，并引入片段边界预测目标，在问答和推理任务上表现更优。