★ 2
arXiv：微型中文 BERT 预训练策略对比研究
研究在 8.7M 参数微型中文 BERT 上受控对比 MLM、WWM 与 MacBERT 三种预训练策略。结果显示微型规模下 MLM 整体最优，WWM 在困惑度与命中率上领先，而 MacBERT 因同义词词典受限出现严重退化，排序与 base 规模结论相反。研究还指出训练损失低不代表困惑度低。
arXiv NLP25 天前
#掩码语言模型
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 1
arXiv 论文：预测掩码文本重建的语料采样分歧
论文研究若从同一人群再采集一份语料，预测器输出会变化多少，并推导出两独立语料预测器期望分歧的一阶公式。在 TinyStories、WikiText-103 与 CNN/DailyMail 上，语料扩大四倍分歧仅降 5–40%，远低于 1/n 预期的 75%。
arXiv NLP21 天前
这个主题的相关资产
相关术语MLM（掩码语言模型）