技术
Retraining(重训练)
Retraining指在已有模型基础上,用新数据或新任务重新训练模型,以更新知识、适应分布变化或提升性能,解决模型随时间退化问题,典型应用如推荐系统定期更新、LLM持续预训练。
详细解释
模型部署后,数据分布可能漂移,导致性能下降。Retraining通过定期或触发式地使用最新数据重新训练模型,保持其有效性。方法包括全量重训、增量学习与持续学习。全量重训计算成本高,增量学习则面临灾难性遗忘。在LLM中,持续预训练和微调是常见retraining手段,用于注入新知识或对齐人类偏好。
别名与相关写法
retraining
相关术语
Pretraining共现 33 篇
self-supervised共现 3 篇
Language Model共现 3 篇
论文共现 3 篇
Foundation Model共现 2 篇
Embedding共现 2 篇
相关公司
相关资讯
研究:生态福利语料继续预训练可降低大模型高压下有害决策2026/10/28
审计:41 个模型版本预训练披露并不持续改善2026/10/28
LARE:按损失重加权,1.5B 模型预训练五基准平均提升 7.84 分2026/10/26
伯克利提出 Nestor 嵌套稀疏架构,预训练与持续学习优于 MoE2026/10/26
研究系统对比 NVFP4 低精度预训练配方2026/10/20
研究:Priming 技术免重训改造 AI 模型架构2026/10/13
MoE 预训练专家耦合降低 All-to-All 通信开销2026/10/8
自适应批大小为何有助于LLM预训练:无界方差视角2026/10/5