技术
self-supervised
一种机器学习范式,利用数据本身的结构自动生成监督信号,无需人工标注标签。
详细解释
自监督学习通过设计前置任务(pretext task)从无标签数据中构造监督信号,如预测句子中被掩码的词(BERT)、对比不同增强视图(SimCLR)或预测下一个词(GPT)。它已成为大模型预训练的核心方法,使模型能够从海量文本、图像中学习通用表示,显著降低对标注数据的依赖。自监督学习是当前基础模型成功的关键因素之一。
别名与相关写法
self supervised
一种机器学习范式,利用数据本身的结构自动生成监督信号,无需人工标注标签。
自监督学习通过设计前置任务(pretext task)从无标签数据中构造监督信号,如预测句子中被掩码的词(BERT)、对比不同增强视图(SimCLR)或预测下一个词(GPT)。它已成为大模型预训练的核心方法,使模型能够从海量文本、图像中学习通用表示,显著降低对标注数据的依赖。自监督学习是当前基础模型成功的关键因素之一。