★ 2
新框架重估稀疏自编码器:原子可解释单元
论文指出稀疏自编码器(SAE)评估长期缺乏明确目标,提出以「原子可解释单元基」作为评估范式,并整理 DAME 等代理指标与基准框架。跨架构评测数百个 SAE 后发现,部分看似单义的 SAE 实为功能多义,且对模型计算贡献最大的特征反而更不可解释、更冗余。
arXiv cs.LG10 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文指出稀疏自编码器(SAE)评估长期缺乏明确目标,提出以「原子可解释单元基」作为评估范式,并整理 DAME 等代理指标与基准框架。跨架构评测数百个 SAE 后发现,部分看似单义的 SAE 实为功能多义,且对模型计算贡献最大的特征反而更不可解释、更冗余。