#标注者差异

研究：多视角标注模型更擅长预测随大流的标注者

论文整理迄今规模最大的序数标注多视角 NLP 数据集集合，评估多类多视角算法，并建模单个标注者的特异程度与算法表现之间的关系。结果表明算法对倾向与他人一致的标注者预测更好，而标注者的作答数量与算法表现之间没有统计显著的正相关。这提示多视角模型对少数派或稀疏标注者的覆盖仍不均衡。