技术
Causal Abstraction(因果抽象)
因果抽象是一种形式化框架,用于判断一个复杂神经网络是否在因果层面实现了某个高层因果模型,从而解决模型可解释性中“表示与计算是否忠实”的问题。典型应用包括分析Transformer的注意力头是否对应因果变量,代表工作如Geiger等人的因果抽象理论。
详细解释
因果抽象由Geiger等人于2021年提出,基于结构因果模型(SCM)和干预主义因果论。它定义了两个SCM之间的抽象关系:如果低层模型中的干预能通过映射对应到高层模型的干预,则称低层实现了高层。该框架为神经网络可解释性提供了数学严谨的评估标准,可用于验证模型是否真正学到了因果结构,而非仅统计关联。后续工作将其扩展到分布式表示、因果发现和模型编辑等领域。
别名与相关写法
causal abstraction
相关术语
相关资讯
因果抽象实现文生图扩散模型公平性高效审计2026/9/10