技术
Pretraining（预训练）
Pretraining是模型在大规模无标注数据上预先学习通用表示的过程，为下游任务提供基础。
详细解释
预训练是深度学习中的关键范式，尤其在大语言模型中，通过自监督任务（如掩码语言建模、下一句预测）从海量文本中学习语言规律。预训练模型（如BERT、GPT）可通过微调适应特定任务，显著减少标注需求。其计算成本高昂，但能大幅提升下游性能，是当前AI成功的基石之一。
别名与相关写法
pretraining
相关术语
Retraining共现 33 篇
self-supervised共现 3 篇
Language Model共现 3 篇
论文共现 3 篇
Foundation Model共现 2 篇
Embedding共现 2 篇
相关公司
相关资讯
研究：生态福利语料继续预训练可降低大模型高压下有害决策2026/10/28
审计：41 个模型版本预训练披露并不持续改善2026/10/28
LARE：按损失重加权，1.5B 模型预训练五基准平均提升 7.84 分2026/10/26
伯克利提出 Nestor 嵌套稀疏架构，预训练与持续学习优于 MoE2026/10/26
研究系统对比 NVFP4 低精度预训练配方2026/10/20
MoE 预训练专家耦合降低 All-to-All 通信开销2026/10/8
自适应批大小为何有助于LLM预训练：无界方差视角2026/10/5
格式感知融合加速 FP4 预训练2026/10/2