LoRA 微调

LoRA（Low-Rank Adaptation）在预训练模型的权重旁注入低秩分解矩阵，微调时只更新这些新增参数，而保持原模型权重冻结。这样可大幅减少可训练参数量和显存占用，同时保持性能接近全参数微调。LoRA 支持多任务快速切换，广泛应用于大模型定制化，如风格迁移、领域适应等。