技术
Linear Probe(线性探针)
Linear Probe是一种评估预训练模型表征质量的方法,在冻结特征上训练线性分类器,解决如何量化模型所学特征线性可分性的问题,广泛应用于自监督学习评估,如SimCLR、MoCo等。
详细解释
Linear Probe通过固定预训练模型的参数,仅训练一个线性层完成下游任务,从而衡量特征提取能力。若线性分类器能达到高准确率,说明特征本身已包含足够判别信息。该方法简单高效,成为自监督学习标准评估协议。与之对比的Fine-tuning会更新全部参数,可能掩盖特征质量差异。
别名与相关写法
linear probe