★ 3
RNN 小人：学习门控长时记忆
论文指出 GRU、LSTM 等门控 RNN 的优势不仅在于加性复制路径，门值本身也需要学习，而这一过程同样受梯度消失困扰。研究通过受控序列分类任务发现，加入短依赖样本可帮助门控模型学会捕获长依赖并跨类别泛化，训练得当的门控 RNN 可匹敌甚至超越 Mamba 与 xLSTM。
arXiv cs.LG19 天前
#门控机制
共 4 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究：门控机制决定状态空间模型的记忆与上下文学习
该论文研究状态空间模型（SSM）在上下文学习与精确检索上落后于 Transformer 的原因，指出门控机制是关键。理论与实验表明，门控会让 SSM 先学到权重内的「记忆」解，延迟甚至阻止其收敛到正确的上下文学习解，即使架构与记忆容量并无根本限制。但门控也有助于提升长序列泛化能力，为改进线性时间模…
arXiv cs.LG47 天前
★ 2
模型铸造与低参数门控：实现更稀疏激活的前馈网络
论文提出「模型铸造」（model casting）这一中期训练方法，通过大幅稀疏化前馈网络（FFN）激活，在推理时先计算门控矩阵输出，利用其高稀疏性跳过另外两个矩阵的计算，最多减少 3 倍 FLOP。作者进一步提出 LoPA Gating，一种低 FLOP 的门控矩阵参数化设计，突破 3 倍加速上…
arXiv cs.LG34 天前
★ 2
Transformer 时序预测器的轻量前置门控
论文研究编码器前的协变量准入接口，实现一个轻量的表示级前置门控，为表示单元分配 sigmoid 分数，并研究惩罚平均准入的使用正则化变体。作为 TimeXer、iTransformer、PatchTST 的插件模块，在 ETTm1/ETTm2、Traffic、Energy、ILI 等数据集上以零额…
arXiv cs.LG42 天前