模型
Universal Transformer
一种在深度上循环的Transformer变体,通过共享参数实现自适应计算,提升推理能力。
详细解释
Universal Transformer(UT)由谷歌于2018年提出,在标准Transformer基础上引入深度循环机制:每一层共享相同参数,并可根据输入动态决定循环步数。它结合了Transformer的并行性与RNN的循环归纳偏置,在机器翻译、算法任务上表现更优,且参数效率更高。
别名与相关写法
universal transformer
一种在深度上循环的Transformer变体,通过共享参数实现自适应计算,提升推理能力。
Universal Transformer(UT)由谷歌于2018年提出,在标准Transformer基础上引入深度循环机制:每一层共享相同参数,并可根据输入动态决定循环步数。它结合了Transformer的并行性与RNN的循环归纳偏置,在机器翻译、算法任务上表现更优,且参数效率更高。