★ 2
SAE的独立性先验割裂视觉概念
论文指出稀疏自编码器（SAE）虽基于线性表示假设，却隐含「图像块间概念相互独立」的先验，这违背自然图像及其激活的空间依赖。作者提出马尔可夫场线性表示假设（MFLRH），并据此设计Spatial-SAE作为摊销MAP估计器。在合成概念恢复任务上平均胜率达96%，并提升DINOv2激活的可解释性，代价…
arXiv cs.AI27 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出稀疏自编码器（SAE）虽基于线性表示假设，却隐含「图像块间概念相互独立」的先验，这违背自然图像及其激活的空间依赖。作者提出马尔可夫场线性表示假设（MFLRH），并据此设计Spatial-SAE作为摊销MAP估计器。在合成概念恢复任务上平均胜率达96%，并提升DINOv2激活的可解释性，代价…