技术基础术语
微调(Fine-tuning)
微调是在预训练模型基础上用特定任务数据继续训练,使模型适应下游任务的技术,解决通用模型领域适配问题,典型应用包括文本分类和对话生成,代表工作有BERT微调和指令微调。
详细解释
微调利用预训练模型学到的通用表示,通过在小规模任务数据上训练,快速提升特定任务性能。全参数微调计算成本高,因此出现参数高效微调方法如LoRA、Adapter。指令微调则通过大量指令数据提升模型零样本能力。微调是NLP迁移学习的核心范式,广泛应用于各行业模型定制。
别名与相关写法
fine-tun微调lorasft
相关术语
相关公司
相关资讯
研究:MoE路由遥测泄露微调成员隐私2026/10/9
研究:金融微调模型数值幻觉的三级可检测性分析2026/9/7
研究拆解顺序微调中回放与蒸馏对 LLM 安全性的作用2026/10/30
Roblox 上线创意预排序器:层级经验贝叶斯提升广告点击率2026/10/28
DuplexTune:耦合状态重放降低 MoE 微调显存2026/10/28
LazyFlash 提出前向稠密反向稀疏注意力,长上下文微调提速 1.7 倍2026/10/26
arXiv 研究自然语言自编码器 NLA 能否泛化到微调模型2026/10/23