#NLU

POSPAN：位置约束跨度掩码的语言模型预训练

论文指出以往跨度级掩码语言建模只考虑跨度长度分布，忽略跨度间依赖，默认掩码位置均匀分布。提出POSPAN通用框架，通过跨度长度分布与位置约束分布的组合统一所有现有跨度级掩码方法。在多个NLU基准上验证位置约束能广泛增强跨度级掩码，最佳设置持续优于仅长度版本与原始MLM，并给出理论分析。