Causal Self-Attention（因果自注意力）

Causal Self-Attention 是Transformer解码器中的关键组件，通过掩码矩阵将未来位置的注意力权重置零，使每个位置只能关注自身及之前的位置。背景是自回归生成任务（如语言建模）需要保持因果性，避免模型“偷看”未来token。技术说明：实现时通常使用上三角掩码，在softmax前将非法位置设为负无穷，确保输出仅依赖历史信息，是GPT等模型的基础。