技术
LoRA（低秩适配）
LoRA（Low-Rank Adaptation）是一种高效微调大语言模型的技术，通过冻结预训练权重并注入低秩矩阵来减少可训练参数，解决了全参数微调成本高的问题。它广泛应用于Stable Diffusion、LLaMA等模型的定制化，显著降低显存和存储需求。
详细解释
LoRA基于低秩假设：模型适应过程中的权重更新具有低内在秩。具体地，对于预训练权重矩阵W，LoRA引入两个低秩矩阵A和B，使得更新量ΔW=BA，其中A和B的秩远小于原矩阵。训练时仅更新A和B，而W保持冻结。这样可训练参数减少至原模型的0.01%～1%，且推理时可将BA与W合并，不增加延迟。LoRA在保持性能的同时大幅降低微调成本，已成为参数高效微调（PEFT）的代表方法。
别名与相关写法
lora
相关术语
相关公司
相关资讯
Roblox 上线创意预排序器：层级经验贝叶斯提升广告点击率2026/10/28
论文提出 Jev 式类型化决策：单次前向传播替代前沿 LLM 评审2026/10/22
ReAPO 提出重试感知策略优化，提升 LLM 推理探索效率2026/10/22
研究对比智能体计算与 REST、SOAP、MCP 架构适用性2026/10/20
arXiv 提出 SQUELCH：LoRA 秩一专家的噪声门限路由2026/10/15
Clef-Flash 决策模型：QLoRA 微调实现临床疾病分类2026/10/14
TreeHCA：多轮 LLM 智能体的后见探索与信用分配2026/10/12