技术
Self-Supervised Learning(自监督学习)
自监督学习是一种无需人工标注标签的机器学习范式,通过设计辅助任务从数据本身生成监督信号,解决标注成本高昂的问题。典型应用包括BERT、GPT等预训练语言模型,以及SimCLR、MoCo等视觉表征学习方法。
详细解释
自监督学习核心思想是利用数据的内在结构构造 pretext task,例如预测被遮挡的单词、判断图像变换类型或对比不同增强视图。模型通过解决这些任务学习通用表征,再微调至下游任务。代表性工作有BERT的掩码语言建模、GPT的自回归语言建模、SimCLR的对比学习。它大幅降低了对标注数据的依赖,成为预训练大模型的基础技术。
别名与相关写法
self-supervised learning
相关术语
Physics-Informed共现 1 篇
Language Model共现 1 篇
相关资讯
研究提出语义可恢复性衡量自监督学习任务保留度2026/10/1
SIEVE:解决等变自监督学习中的拓扑障碍2026/10/16
HintMiner:从问答帖子自监督挖掘问题提示2026/9/16
物理信息自监督学习用于多丝探测器校准与位置重建2026/9/25