技术

Low-Rank Adaptation（低秩适应）

低秩适应（LoRA）是一种参数高效微调方法，通过低秩矩阵注入冻结的预训练模型，解决大模型微调成本高的问题，典型应用于大语言模型和扩散模型，代表工作有Hu等2021年的LoRA。

收录于 2026/9/14相关资讯 7 篇近 30 天 4 篇在词典中查看 →

详细解释

背景：微调大模型需更新全部参数，计算和存储开销大。技术说明：LoRA在Transformer的权重矩阵旁添加低秩分解矩阵，仅训练这些新参数，保持原权重冻结。推理时可将低秩矩阵合并回原权重，无额外延迟。秩通常取4-64。应用包括GPT、LLaMA和Stable Diffusion的定制化。

别名与相关写法
low-rank adaptation

相关术语

low-rank共现 7 篇
LoRA共现 6 篇
continual learning共现 2 篇
Model-Based Reinforcement Learning共现 1 篇
Reservoir Computing共现 1 篇
Language Model共现 1 篇

相关资讯

完整术语表见 AI 术语词典； 每日新术语与进展见 AI 早报。