#稀疏连接

研究用超立方体旋转稀疏连接替代注意力机制

论文提出用固定、稀疏且逐层旋转的连接方式替代注意力，将序列位置视为超立方体顶点，每层沿不同维度连接邻居，使信息在log₂n层内传遍所有位置，每层仅需2n条连接而非n²。在enwik8字符级语言建模上，混合模型以1/7连接数、少42%参数、2.4倍更快速度取得更低损失，学习率可用窗口也宽4至8倍。