★ 3
研究用超立方体旋转稀疏连接替代注意力机制
论文提出用固定、稀疏且逐层旋转的连接方式替代注意力，将序列位置视为超立方体顶点，每层沿不同维度连接邻居，使信息在log₂n层内传遍所有位置，每层仅需2n条连接而非n²。在enwik8字符级语言建模上，混合模型以1/7连接数、少42%参数、2.4倍更快速度取得更低损失，学习率可用窗口也宽4至8倍。
arXiv cs.LG46 天前
#架构创新
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Giraffe架构：用单令牌实现高效图形设计生成
多模态大模型在媒体生成方面能力有限，现有方法需多个专用令牌表示图像，导致输入过长。Giraffe架构通过单[IMG]令牌将隐藏文本表示映射到视觉嵌入空间，采用两个浅层MLP块和六种损失函数训练，推理时省略一个块，实现轻量化。在图像到设计和文本到设计任务中表现优异。
arXiv cs.AI68 天前
★ 2
因果潜在工作区：为循环 Transformer 增加前缀状态交换
论文提出因果潜在工作区 Transformer，采用锚定四轮共享深度架构，每个位置将门控向量写入前缀专属潜在槽，并在下一次共享块应用前检索内容寻址摘要，与因果自注意力互补。在三个字节级语料、三个随机种子与两个匹配参数预算下，六种设置中五种取得最佳平均留出困惑度；101.71M 参数时在 WikiT…
arXiv NLP14 天前
这个主题的相关资产
相关公司高德地图（Amap）1