★ 2
LSTM-UT 与循环深度 Transformer 在元胞自动机上的比较
论文比较三种循环深度 Transformer 在信息保留方式上的差异：仅携带当前隐状态的 BUT、保留扩展注意力缓存的 CoTFormer，以及新提出的带有限门控记忆的 LSTM-UT。在 Rule 30 元胞自动机上，BUT 的深度外推优于 CoTFormer，而 LSTM-UT 在深度外推与延…
arXiv cs.LG45 天前
共 1 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文比较三种循环深度 Transformer 在信息保留方式上的差异：仅携带当前隐状态的 BUT、保留扩展注意力缓存的 CoTFormer，以及新提出的带有限门控记忆的 LSTM-UT。在 Rule 30 元胞自动机上，BUT 的深度外推优于 CoTFormer，而 LSTM-UT 在深度外推与延…