★ 3
雅可比透镜下的循环Transformer:全局工作区在循环中存活吗?
研究通过虚拟展开适配器将雅可比透镜扩展到循环架构,测试Ouro-2.6B和Huginn-0125。发现每个架构的循环部分形成工作区,但循环改变访问方式:Ouro在每个循环重建内容,线性传输无法跨边界;Huginn跨所有循环携带内容,但读写仅作用于约两个循环的滑动窗口。
arXiv cs.AI60 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
研究通过虚拟展开适配器将雅可比透镜扩展到循环架构,测试Ouro-2.6B和Huginn-0125。发现每个架构的循环部分形成工作区,但循环改变访问方式:Ouro在每个循环重建内容,线性传输无法跨边界;Huginn跨所有循环携带内容,但读写仅作用于约两个循环的滑动窗口。