★ 3
RNN 小人：学习门控长时记忆
论文指出 GRU、LSTM 等门控 RNN 的优势不仅在于加性复制路径，门值本身也需要学习，而这一过程同样受梯度消失困扰。研究通过受控序列分类任务发现，加入短依赖样本可帮助门控模型学会捕获长依赖并跨类别泛化，训练得当的门控 RNN 可匹敌甚至超越 Mamba 与 xLSTM。
arXiv cs.LG19 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文指出 GRU、LSTM 等门控 RNN 的优势不仅在于加性复制路径，门值本身也需要学习，而这一过程同样受梯度消失困扰。研究通过受控序列分类任务发现，加入短依赖样本可帮助门控模型学会捕获长依赖并跨类别泛化，训练得当的门控 RNN 可匹敌甚至超越 Mamba 与 xLSTM。
论文在统一协议下比较树结构与构造式分类器的四种增长决策各自带来什么收益。作者证明，将软决策树的每个叶子变成继承父类分布的门会使新门梯度恒为零，该层永远无法学习，实验中在 Iris、Wine、Digits 上分别损失 19.6、19.1、55.6 个准确率点。修复方法是对子节点施加微小随机扰动，实用…