#活跃子空间

压缩活跃子空间实现可扩展贝叶斯推断

活跃子空间方法通过沿对输出影响最大的参数方向做推断来量化高维模型不确定性，但需存储大量全维梯度，随模型增大而不可行。论文提出压缩活跃子空间 CAS，先用结构化等距嵌入将参数映射到压缩空间，再在其中构建活跃子空间。方法大幅降低内存需求，使大模型贝叶斯推断可行，并在规模递增的神经网络上保持预测性能与稳…