★ 3
UltraBERT：突破 BERT 预训练极限的双向编码器
研究者提出 UltraBERT，通过为低和高掩码率分配独立 LM 头并限制蒸馏目标，首次在分类和检索任务上同时达到最优。GLUE 得分 91.0，BEIR 得分 47.7，并揭示编码器在数万亿 token 后饱和、低掩码率利于分类而高掩码率利于检索等发现。
arXiv NLP19 天前
#BERT
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
论文构建英汉双语居高临下语言自动检测系统
研究针对居高临下与怜悯式语言（PCL）这一难以识别的隐性有害语言，提出自动化检测系统。对比静态词向量加 CNN 与微调 BERT 两种方案，后者效果明显更好，在开发集上取得 0.528 的 F1 分数，覆盖英文与中文。
arXiv cs.AI7 天前
★ 2
arXiv：微型中文 BERT 预训练策略对比研究
研究在 8.7M 参数微型中文 BERT 上受控对比 MLM、WWM 与 MacBERT 三种预训练策略。结果显示微型规模下 MLM 整体最优，WWM 在困惑度与命中率上领先，而 MacBERT 因同义词词典受限出现严重退化，排序与 base 规模结论相反。研究还指出训练损失低不代表困惑度低。
arXiv NLP25 天前