#梯度稳定性

空间神经计算让循环架构学习无限上下文窗口

研究提出一种二阶循环模型，用偏微分方程控制的时空演化场替代标准神经元间通信，受皮层波计算启发。该模型等价于结构化无限阶 RNN，具有固定参数下的有效无界感受野，并推导出保证边际稳定性的条件以消除梯度消失和爆炸。在长程基准上以更少参数超越其他循环模型。