研究揭示选择性状态空间模型内部共识动力学
论文从动力系统视角研究选择性状态空间模型(SSM),将 token 跨层演化建模为常微分方程。作者利用输入-状态稳定性论证,证明共识平衡点的局部指数稳定性并刻画其吸引域,适用于时变权重矩阵。在预训练 Mamba-2 上的实验表明输出门是调节共识程度、阻止 token 完全收敛的关键组件。
共 7 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文从动力系统视角研究选择性状态空间模型(SSM),将 token 跨层演化建模为常微分方程。作者利用输入-状态稳定性论证,证明共识平衡点的局部指数稳定性并刻画其吸引域,适用于时变权重矩阵。在预训练 Mamba-2 上的实验表明输出门是调节共识程度、阻止 token 完全收敛的关键组件。
论文提出开源 Python 包 rc_prediction,实现参数感知储备池计算(PARC)工作流,支持多参数训练、闭环自主预测与参数扫描。模型仅用临界前数据训练,即可外推预测系统崩溃与临界参数。
论文提出 LatentLieODE,一种基于神经 ODE 的方法,可从视频等时序观测中学习动力系统的线性李对称与首次积分。在谐振子、单双摆、Lotka-Volterra、像素摆、球面测地线六个基准系统上,发现的守恒量与真值相关系数不低于 0.978,并在球面上恢复非阿贝尔 so(3) 对称。该工作…
该论文探讨统计学习在分布偏移下的泛化局限,主张用因果模型刻画变化的底层机制。第一部分重构「算法追索」问题,提出更现实的反事实成本函数并引入时间维度;第二部分把因果干预与效应扩展到离散与连续随机过程,将动力系统均衡与结构因果模型(SCM)关联。核心论点是模型的可信度取决于其能否真实表征底层现象。
论文针对高斯过程分布式端口哈密顿系统(GP-dPHS)中标准平稳核效率低的问题,提出结构感知核:剔除无关状态坐标,并用张量积协方差解耦状态与空间依赖。非线性弦实验显示结构解耦稳定提升重建精度,匹配空间剖面的核在力场与轨迹重建上收益更大。
论文研究动力系统重建中的持续学习问题,在可解释的AL-RNN上基准测试参数正则化、回放与参数隔离方法。提出CRUG方法,通过L0惩罚的可微门控选择任务专属单元并回收未用单元,实现零遗忘并保持重建与容量的最佳权衡。
论文研究多智能体动力学中潜在交互结构的恢复问题,指出传统方法假设所有智能体轨迹可见,而实际部署中智能体可能因感知受限、遮挡或通信失败而不可观测。作者提出 SIHA 框架,结合结构无关初始化与结构引导迭代精化,通过多强度结构注意力重建隐藏轨迹并推断交互。在三个基准动力系统与模拟肢体遮挡的动捕实验中均…