QLoRA

QLoRA 结合了量化与低秩适应（LoRA）。它将预训练模型量化为 4-bit 并冻结，仅训练少量低秩适配器参数，同时使用分页优化器管理显存。这使得在单张消费级 GPU 上微调大模型成为可能，显著降低了微调门槛。