★ 2
研究:神经网络损失景观临界轨道的拓扑对称指数
论文基于等变度理论建立拓扑对称指数,用于系统刻画神经网络损失景观中由架构与目标对称性产生的临界轨道,并可处理退化临界轨道。该指数能检测临界点的各向同性并量化其净拓扑贡献,在 softplus MLP、Transformer 与等变网络上给出计算示例。
arXiv cs.LG11 天前
共 5 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文基于等变度理论建立拓扑对称指数,用于系统刻画神经网络损失景观中由架构与目标对称性产生的临界轨道,并可处理退化临界轨道。该指数能检测临界点的各向同性并量化其净拓扑贡献,在 softplus MLP、Transformer 与等变网络上给出计算示例。
研究把序列视为时间上的场,将运动建模为随时间局部化的规范对称性,提出 MELSTM:以速度模型作为规范场,可证明对任意运动等变。在帧预测、仅凭运动识别数字、相机抖动下动作识别任务中,同参数量下 MELSTM 优于卷积 LSTM 与流等变模型,泛化到更长时域与未见运动,状态占用更小。
论文在对称商空间上建立理论链条:商线性稳定性蕴含商平坦性,商平坦性蕴含输入平滑性,输入平滑性在局部覆盖假设下导出泛化。作者定义商平坦性为经验损失 Hessian 在正则商流形上的迹,并证明 SGD 一步均方商线性稳定性给出显式平坦性界。最终推导出基于商平坦性与商线性稳定性的总体泛化界。
论文提出 Backbone-Adaptive Evidence Routing(BAER),在保持候选对称性的前提下自适应选择证据收集机制。它将专家的带符号偏好与候选不变可靠性分离,构建证据堆叠、可靠性路由与候选盲参考验证三个对称头。在四个基准、两个 8B 评判骨干的八种条件下均取得最高测试准确率…
论文研究神经网络缩放律中内在维度估计在有限群轨道上的失效问题。以模加法为例,传递性使标准维度估计器退化为点质量而无法定义。作者证明该失效具有普遍性,并提出以隐藏宽度指数函数替代幂律,拟合优度显著更高;同时发现临界宽度随群阶下降而非上升,与容量计数预期相反。