技术
Parameter-Efficient Fine-Tuning(参数高效微调)
参数高效微调(PEFT)是一种在预训练模型基础上仅更新少量参数以适应下游任务的技术,大幅降低计算成本。
详细解释
PEFT 方法包括 Adapter、LoRA、Prefix-tuning 等,通过冻结大部分模型参数,只训练新增或低秩参数,实现与全量微调相当的性能。在资源受限场景下,PEFT 使大模型应用更可行。
别名与相关写法
parameter-efficient fine-tuningParameter-Efficient Fine-Tuning参数高效微调PEFT
相关术语
相关资讯
NormTune:按权重更新范数引导的参数高效微调2026/10/22
Clef-Flash 决策模型:QLoRA 微调实现临床疾病分类2026/10/14
研究:参数高效微调方法差异究竟在哪2026/10/8
面向 MoE 大模型的子专家级微调方法2026/9/23
分层低秩重参数化压缩 PEFT 可训练参数近一个数量级2026/10/28
参数高效微调范畴图谱:锥、轨道与规范2026/10/12