Hidden States（隐藏状态）

Hidden States指神经网络隐藏层神经元激活值，在RNN中传递时序信息，在Transformer中为各层自注意力输出。它们捕捉输入的不同层次特征，如语法、语义。分析隐藏状态可理解模型内部机制（如探针实验），也用于迁移学习（如BERT的[CLS]向量）。在生成模型中，隐藏状态影响输出分布。