★ 3
空间归纳头：多维元胞自动机的上下文学习
论文研究 Transformer 如何在多维随机与确定性元胞自动机中克服序列化带来的空间路由问题，提出「空间归纳头」——两层 gather-and-match 电路，第一层重建空间邻域，第二层与先前出现匹配。作者证明空间路由所需位置维度仅取决于局部邻域与空间维度，并构造实现贝叶斯计数的匹配层。训练…
arXiv cs.LG25 天前
#元胞自动机
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
LSTM-UT 与循环深度 Transformer 在元胞自动机上的比较
论文比较三种循环深度 Transformer 在信息保留方式上的差异：仅携带当前隐状态的 BUT、保留扩展注意力缓存的 CoTFormer，以及新提出的带有限门控记忆的 LSTM-UT。在 Rule 30 元胞自动机上，BUT 的深度外推优于 CoTFormer，而 LSTM-UT 在深度外推与延…
arXiv cs.LG45 天前