技术
Attention（注意力机制）
注意力机制（Attention）让模型动态关注输入的不同部分，解决序列建模中长距离依赖问题，成为Transformer的核心组件，代表工作如《Attention Is All You Need》和BERT。
详细解释
注意力通过查询、键、值计算加权和，捕捉全局依赖。自注意力允许每个位置关注所有位置，并行计算效率高。多头注意力增强表示能力。该机制已扩展到视觉、语音等领域，但计算复杂度随序列长度平方增长，催生了稀疏注意力、线性注意力等改进。
别名与相关写法
attentionAttention注意力机制Attention Mechanism
相关术语
Transformer共现 7 篇
Sparse Attention共现 7 篇
Long-Context共现 7 篇
论文共现 7 篇
Decoding共现 4 篇
Cross-Attention共现 3 篇
相关公司
相关资讯
论文揭示LLM安全路径：注意力识别危害，MLP写入拒绝2026/10/12
Universal Attention：KV 缓存 25 倍压缩2026/10/8
AI生物危害炒作不应转移当下风险注意力2026/10/6
DeepSeek发布V4.1-Flash：1M上下文与FP4 KV缓存2026/9/10
GPT-5.4 mini发布，价格更高2026/4/1
Layerwise Repacking：混合注意力变长训练免重分配2026/10/28
LazyFlash 提出前向稠密反向稀疏注意力，长上下文微调提速 1.7 倍2026/10/26