★ 3
研究称线性表示假说需引入群作用定义等价性
论文指出线性表示假说常被讨论却未明确表示等价性,而不同等价概念保留不同结构,导致看似研究同一表示的度量、探针与干预实际对应不同假说。作者用群作用形式化该假说,明确表示对象、生成过程与最终断言的性质,并据此审计常见表示量与近期可解释性分析。
arXiv cs.LG39 天前
共 3 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文指出线性表示假说常被讨论却未明确表示等价性,而不同等价概念保留不同结构,导致看似研究同一表示的度量、探针与干预实际对应不同假说。作者用群作用形式化该假说,明确表示对象、生成过程与最终断言的性质,并据此审计常见表示量与近期可解释性分析。
论文研究神经网络缩放律中内在维度估计在有限群轨道上的失效问题。以模加法为例,传递性使标准维度估计器退化为点质量而无法定义。作者证明该失效具有普遍性,并提出以隐藏宽度指数函数替代幂律,拟合优度显著更高;同时发现临界宽度随群阶下降而非上升,与容量计数预期相反。
论文在群组合任务测试床上提供因果证据,表明梯度下降招募的秩恰好等于任务代数所要求的秩。在五个有限群上,招募秩等于群的最小忠实实表示维度 d_min,Spearman 相关系数达 0.9747。研究将秩定律从标量容量约束扩展为表示论层面的规律。