技术
Counterfactual Span Probing(反事实片段探测)
Counterfactual Span Probing 是一种通过反事实扰动文本片段来探测模型内部知识或推理能力的方法,解决模型可解释性和鲁棒性评估问题。典型应用包括语言模型事实性检测和偏见分析,代表工作如 Counterfactual Probing 用于关系抽取。
详细解释
背景:理解神经网络内部表示和推理机制是 NLP 可解释性的核心挑战。技术说明:Counterfactual Span Probing 通过替换或修改输入文本中的特定片段(span),观察模型输出变化,从而推断模型是否依赖该片段进行预测。例如,在关系抽取中,替换主语或宾语,检查模型预测是否相应改变。该方法可揭示模型是否学习到真正的因果关系,还是仅利用表面线索。常用于评估模型的鲁棒性和公平性。
别名与相关写法
counterfactual span probing