★ 3
RNN 小人：学习门控长时记忆
论文指出 GRU、LSTM 等门控 RNN 的优势不仅在于加性复制路径，门值本身也需要学习，而这一过程同样受梯度消失困扰。研究通过受控序列分类任务发现，加入短依赖样本可帮助门控模型学会捕获长依赖并跨类别泛化，训练得当的门控 RNN 可匹敌甚至超越 Mamba 与 xLSTM。
arXiv cs.LG19 天前
#循环神经网络
共 12 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
空间神经计算让循环架构学习无限上下文窗口
研究提出一种二阶循环模型，用偏微分方程控制的时空演化场替代标准神经元间通信，受皮层波计算启发。该模型等价于结构化无限阶 RNN，具有固定参数下的有效无界感受野，并推导出保证边际稳定性的条件以消除梯度消失和爆炸。在长程基准上以更少参数超越其他循环模型。
arXiv cs.LG24 天前
★ 3
研究低精度时序推理中量化导致的循环状态写回问题
研究引入循环状态回写概念，发现4位状态存储会使荧光寿命成像参数估计误差增加70倍和300倍。误差反馈、残差记忆和方向记忆可在不重训练的情况下恢复精度，而提高状态精度可能恶化固定循环解。该发现对量化循环推理设计有重要指导意义。
arXiv cs.AI56 天前
★ 2
baseVultra：重分配容量的紧凑非线性循环单元
论文提出紧凑循环单元 baseVultra，将稠密循环预算集中于单个候选生成矩阵，用 O(H) 对角交互替代循环门矩阵，并引入低秩辅助分支与 EMA 缓存。在 TinyShakespeare 上验证损失 1.594，优于参数匹配的 LSTM 与 GRU，稠密矩阵向量计算量约为 GRU 的 54%。…
arXiv NLP10 天前
★ 2
论文提出运动等变卷积 LSTM，将运动视为规范对称性
研究把序列视为时间上的场，将运动建模为随时间局部化的规范对称性，提出 MELSTM：以速度模型作为规范场，可证明对任意运动等变。在帧预测、仅凭运动识别数字、相机抖动下动作识别任务中，同参数量下 MELSTM 优于卷积 LSTM 与流等变模型，泛化到更长时域与未见运动，状态占用更小。
arXiv cs.LG11 天前
★ 2
RNN 结合可解释性分离相似森林类别
研究评估循环神经网络（RNN）从 Sentinel-2 时间序列进行树种分类的潜力，并利用 Integrated Gradients 分析光谱-时间特征归因，重点区分纯云杉与混合云杉像素。最佳 RNN 的 Macro-F1 达 0.851，优于 XGBoost 和随机森林，归因分析揭示了区分两类森…
arXiv cs.LG18 天前
★ 2
MemKD：面向紧凑循环网络的内存保持蒸馏
论文针对循环神经网络在资源受限设备部署的挑战，提出内存差异知识蒸馏框架MemKD。该方法利用专门损失函数捕捉教师与学生模型在时间序列子序列上的内存保持差异，使学生模型有效模仿教师行为。实验表明MemKD显著优于现有蒸馏方法，在多种压缩级别下匹配教师性能，大幅减少参数量与内存占用而不明显损失精度。
arXiv cs.LG26 天前
★ 2
循环神经网络可回收单元门控的持续学习
论文研究动力系统重建中的持续学习问题，在可解释的AL-RNN上基准测试参数正则化、回放与参数隔离方法。提出CRUG方法，通过L0惩罚的可微门控选择任务专属单元并回收未用单元，实现零遗忘并保持重建与容量的最佳权衡。
arXiv cs.LG32 天前
★ 2
ROTE：复杂度可控符号序列的神经记忆基准
研究者提出 ROTE 基准协议，用 Lempel-Ziv-Welch 压缩控制序列复杂度，系统评估门控循环、最小循环、注意力及混合架构的符号记忆能力。评测涵盖教师强制单步预测与闭环 rollout，并报告字符串距离、训练时间、内存占用与参数量。该工作揭示了算法序列复杂度与神经架构记忆容量之间的权衡…
arXiv cs.LG34 天前
★ 2
耗散系统数据驱动深度循环神经网络建模
论文提出 DissipNet，一种深度离散时间耗散循环神经网络，通过结构权重约束与专门训练算法显式强制耗散性，并用 Lyapunov 理论形式化分析其稳定性。与仅将控制方程纳入损失、不保证内部解析性质（如耗散性、无源性）的物理信息神经网络（PINN）不同，该方法在模型层面提供显式稳定性保证，并在多…
arXiv cs.LG39 天前
★ 2
循环神经网络中的学习诱导动力学相变
论文建立非平衡动力学平均场理论（DMFT），描述循环神经网络学习过程中从混沌活动到稳定任务行为的转变。研究显示慢速反馈驱动学习产生演化的有效反馈强度，使网络在 DMFT 解的分岔点发生相变，并识别出临界反馈强度与依赖学习率的临界时间。理论预测的训练输出演化与数值模拟定量吻合。
arXiv cs.LG45 天前
★ 2
物理知识注入历史数据比强制物理约束更有效
研究提出物理信息循环神经网络PIRNN，在预测目标序列的同时估计历史数据与预测期内的不可观测中间物理变量，提升模型鲁棒性与可解释性。以Gardenia地下水模型为案例，在12个真实数据集上PIRNN于其中5个取得最优表现，消融实验表明物理背景知识对时序预测至关重要。预测的物理变量一致性由领域专家评…
arXiv cs.AI45 天前