模型基础术语
Transformer（变换器）
Transformer是一种基于自注意力机制的神经网络架构，解决序列建模中的长距离依赖问题，典型应用包括BERT、GPT和ViT等，是当前大模型的基础。
详细解释
Transformer由Vaswani等人于2017年提出，完全摒弃循环结构，通过多头自注意力和前馈网络并行处理序列。背景是解决RNN的串行计算和长程依赖缺陷。技术说明包括编码器-解码器结构、位置编码和残差连接。它催生了预训练语言模型，并扩展到视觉、语音等领域。
别名与相关写法
transformerattention注意力
相关术语
Attention共现 76 篇
论文共现 13 篇
Sparse Attention共现 7 篇
Long-Context共现 7 篇
Looped Transformer共现 6 篇
Language Model共现 6 篇
相关公司
相关资讯
Zyphra 提出 ZHA 层次树索引注意力，实现亚二次方扩展2026/11/2
英伟达发布Nemotron 3.5 Super与Lightning开源模型2026/10/30
论文揭示LLM安全路径：注意力识别危害，MLP写入拒绝2026/10/12
LayerRoPE：Transformer 深度位置编码新方法2026/10/8
Universal Attention：KV 缓存 25 倍压缩2026/10/8
AI生物危害炒作不应转移当下风险注意力2026/10/6