研究:神经网络损失景观临界轨道的拓扑对称指数
论文基于等变度理论建立拓扑对称指数,用于系统刻画神经网络损失景观中由架构与目标对称性产生的临界轨道,并可处理退化临界轨道。该指数能检测临界点的各向同性并量化其净拓扑贡献,在 softplus MLP、Transformer 与等变网络上给出计算示例。
共 6 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文基于等变度理论建立拓扑对称指数,用于系统刻画神经网络损失景观中由架构与目标对称性产生的临界轨道,并可处理退化临界轨道。该指数能检测临界点的各向同性并量化其净拓扑贡献,在 softplus MLP、Transformer 与等变网络上给出计算示例。
研究把序列视为时间上的场,将运动建模为随时间局部化的规范对称性,提出 MELSTM:以速度模型作为规范场,可证明对任意运动等变。在帧预测、仅凭运动识别数字、相机抖动下动作识别任务中,同参数量下 MELSTM 优于卷积 LSTM 与流等变模型,泛化到更长时域与未见运动,状态占用更小。
论文指出3D点云掩码自编码与SE(3)等变网络存在理论不兼容,标准掩码会触发拓扑坍缩。为此提出SIEVE框架,通过球面投影掩码压缩点云几何为不变标量嵌入,在下游点云任务上优于坐标基线和手工几何描述子。
arXiv 论文针对等变结构预测中动态 kNN 图重建开销,提出两遍拓扑调度设计,将图构建基选择形式化为阻尼不动点迭代。方法给出非翻转证书、最小方差重放增益与信赖域投影,C++ 实现实现 1.5 倍首遍与 1.76 倍每轮加速且无精度损失,代码已开源。
论文提出 Autoregressive Frontier Expansion 生成框架,通过迭代扩展过程模拟真实树木的生物学生长,构建树状分支结构。每步由 SO(2) 等变 GNN 参数化的流匹配模型预测各活跃分支是分叉还是终止。在皮层神经元与植物树上评估,生成形态与参考分布高度吻合,条件生成也符…
论文提出 SO(3) 等变神经卡尔曼网络(SENK),用于振动光谱预测,结合等变 Transformer 主干、神经卡尔曼桥接与 NBO 电子先验路径。SENK 在 QM9S 和 QMe14S 上超越 DetaNet,并保持从小分子到类药分子的全谱红外与拉曼保真度。该方法整合张量预测、可靠性诊断与…