#概率推断

论文将 Transformer 解释为 LBP 与 EM 混合推断

论文把 Transformer 网络解释为结合 max-product 环状置信传播（LBP）与期望最大化（EM）的混合概率推断过程的近似：自注意力实现输入条件下动态结构马尔可夫随机场上的可微 LBP，层间参数转移则对应隐式 M 步。基于此提出「元模型」设计范式，统一自注意力、混合专家与门控单元。