★ 3
RNN 小人：学习门控长时记忆
论文指出 GRU、LSTM 等门控 RNN 的优势不仅在于加性复制路径，门值本身也需要学习，而这一过程同样受梯度消失困扰。研究通过受控序列分类任务发现，加入短依赖样本可帮助门控模型学会捕获长依赖并跨类别泛化，训练得当的门控 RNN 可匹敌甚至超越 Mamba 与 xLSTM。
arXiv cs.LG19 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出 GRU、LSTM 等门控 RNN 的优势不仅在于加性复制路径，门值本身也需要学习，而这一过程同样受梯度消失困扰。研究通过受控序列分类任务发现，加入短依赖样本可帮助门控模型学会捕获长依赖并跨类别泛化，训练得当的门控 RNN 可匹敌甚至超越 Mamba 与 xLSTM。