★ 3
研究：门控机制决定状态空间模型的记忆与上下文学习
该论文研究状态空间模型（SSM）在上下文学习与精确检索上落后于 Transformer 的原因，指出门控机制是关键。理论与实验表明，门控会让 SSM 先学到权重内的「记忆」解，延迟甚至阻止其收敛到正确的上下文学习解，即使架构与记忆容量并无根本限制。但门控也有助于提升长序列泛化能力，为改进线性时间模…
arXiv cs.LG47 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
该论文研究状态空间模型（SSM）在上下文学习与精确检索上落后于 Transformer 的原因，指出门控机制是关键。理论与实验表明，门控会让 SSM 先学到权重内的「记忆」解，延迟甚至阻止其收敛到正确的上下文学习解，即使架构与记忆容量并无根本限制。但门控也有助于提升长序列泛化能力，为改进线性时间模…