Looped Transformer

Looped Transformer在标准Transformer基础上引入循环机制，让同一组层被多次调用，从而在不增加参数量的情况下提升模型表达能力。其灵感源于深度学习的循环结构，旨在解决深层Transformer的优化难题。该结构在推理任务中表现出色，能模拟迭代计算过程，近期研究显示其在算法任务上具有优势。