★ 2
论文对比 LSTM/GRU 门初始化与循环 Dropout、Zoneout 的长依赖学习
研究以 720 组因子实验，在加法问题与延迟回忆任务上交叉测试常规与 chrono 门初始化及六种循环正则化位置。结果显示在常规初始化困难的序列长度下，全部 360 组 chrono 初始化运行均在 5000 次更新内达标，而常规初始化网络学习缓慢或无法达标。Dropout 通常延迟学习，Zone…
arXiv cs.LG11 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
研究以 720 组因子实验，在加法问题与延迟回忆任务上交叉测试常规与 chrono 门初始化及六种循环正则化位置。结果显示在常规初始化困难的序列长度下，全部 360 组 chrono 初始化运行均在 5000 次更新内达标，而常规初始化网络学习缓慢或无法达标。Dropout 通常延迟学习，Zone…