MLM（掩码语言模型）

MLM最早由BERT提出，其思想源于完形填空：随机选择15%的词元，其中80%替换为[MASK]，10%替换为随机词，10%保持不变，然后让模型预测原始词元。这种训练方式迫使模型同时利用左右上下文，从而获得双向语言表示。与自回归语言模型不同，MLM不能直接用于文本生成，但作为预训练目标，它显著提升了模型在问答、情感分析等下游任务上的性能。后续研究如RoBERTa、ELECTRA对MLM进行了改进，例如动态掩码和替换检测。