★ 3
研究用重整化群理论定量描述神经网络 grokking 现象
论文检验标度与重整化群（RG）理论能否描述神经网络从记忆到泛化的延迟转变（grokking）。作者在两层网络模加任务上构造序参量与耦合矩阵，通过块自旋聚合执行实空间 RG，线性化后得到相关标度指数与五个临界指数，经验估计与 RG 预测误差在 1%-10% 内。该框架为神经网络泛化转变提供定量物理描…
arXiv cs.LG5 天前
#神经网络理论
共 9 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
论文解释对抗训练神经网络显著性图稀疏性
研究为两层 ReLU 网络中对抗训练神经网络的梯度显著性图稀疏现象提供理论解释。作者基于对抗训练等价于带权重衰减惩罚和对抗全变差项的经验风险最小化，证明最小化器收敛到具有最小梯度和 Barron 范数的贝叶斯分类器，稀疏性源于 ℓ∞ 攻击下梯度范数的各向异性。
arXiv cs.LG24 天前
★ 2
神经理想与神经编码：神经网络分类的代数框架
该论文提出一种代数框架，用「神经理想」刻画神经网络隐藏层所捕获的特征，并给出计算算法与稳定化定理。作者在 MNIST 数据集上验证了该框架的实用性，并开发了可视化每个神经元特征的交互式软件。这一工作为神经网络可解释性提供了新的数学工具。
arXiv cs.LG35 天前
★ 2
无流形的对称性：轨道上的内在维度
论文研究神经网络缩放律中内在维度估计在有限群轨道上的失效问题。以模加法为例，传递性使标准维度估计器退化为点质量而无法定义。作者证明该失效具有普遍性，并提出以隐藏宽度指数函数替代幂律，拟合优度显著更高；同时发现临界宽度随群阶下降而非上升，与容量计数预期相反。
arXiv cs.LG46 天前
★ 2
教师几何结构决定师生网络可学习性
论文指出师生网络研究中常假设教师参数随机正态分布，忽略了教师结构对可学习性的巨大影响。作者将可学习性形式化为收敛到全局最小值的成功率，识别出最大化与最小化节点差异的分布，并分析损失景观中两类次优局部极小值。研究还提出差异化学习率策略以提升成功率。
arXiv cs.LG53 天前
★ 2
Gradland：用雅可比结构刻画现象学体验的多维差异
论文提出假说：物理交互的一阶结构（梯度或雅可比）刻画了现象学体验的结构，并在由神经网络构成的理想世界 Gradland 中加以检验。作者引入有效秩与内聚度两个雅可比结构度量，用以解释体验的持续时间、鲜明与模糊之别、质感、新生儿的混沌感知、清晰与混乱观念等七类现象。该工作属于AI与意识研究的交叉理论…
arXiv cs.AI53 天前
★ 1
arXiv 论文：二次网络的谱不可区分性与学习曲线可辨识性
论文研究谱摘要与标量学习曲线能揭示中心二次网络的哪些信息。作者构造具有完全相同高斯一维与二维边缘的解析正输入密度，证明其锚定谱测度一致，但因子化损失曲线因映射不保持矩阵乘法而不同。
arXiv cs.LG17 天前
★ 1
Dropout网络逼近性质：Sobolev速率与置信界
论文研究以保留概率p随机保留边的ReLU网络对W^{n,∞}单位球的逼近，给出在至少1-δ概率下成立的均匀误差保证，并构造常深度网络规模上界。反向利用Sobolev容量给出存活边数下界，在固定或对数深度预算下上下界在精度指数上匹配。
arXiv cs.LG28 天前
★ 1
Grokking 转变的复本重叠探针研究
研究者训练 64 个独立随机种子的网络，检验 grokking 转变过程中权重成对重叠分布是否变化。由于对齐步骤未保持网络函数、数值精度不达标及协议偏差，预注册规则给出「未确定」结论。仅标准差比值在观测效应下具备统计效力，grokking 率仍属描述性结果。
arXiv cs.LG40 天前
这个主题的相关资产
相关公司xAI2