★ 3
普林斯顿研究者提出循环环状Transformer RLT
Yifan Zhang发布循环环状Transformer（RLT）技术报告，提出因果编码器搭配循环解码器，将最终隐藏状态与逐层滑动窗口注意力缓存跨每个提示与回复token传递，服务边界处不重置。参考配置为48层编码器加48层解码器，每token执行96个逻辑块，状态路径随token数增长。设计还包…
MarkTechPost49 天前
#循环架构
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
因果潜在工作区：为循环 Transformer 增加前缀状态交换
论文提出因果潜在工作区 Transformer，采用锚定四轮共享深度架构，每个位置将门控向量写入前缀专属潜在槽，并在下一次共享块应用前检索内容寻址摘要，与因果自注意力互补。在三个字节级语料、三个随机种子与两个匹配参数预算下，六种设置中五种取得最佳平均留出困惑度；101.71M 参数时在 WikiT…
arXiv NLP14 天前