Low-Rank Factorization（低秩分解）

低秩分解基于矩阵秩的概念，假设权重矩阵具有低秩特性。通过奇异值分解（SVD）或非负矩阵分解（NMF）等方法，将原始矩阵分解为低秩因子，从而减少参数数量。在深度学习中，常用于全连接层和卷积层的压缩，如MobileNet中的深度可分离卷积。近年来，在大型语言模型中，低秩适应（LoRA）通过低秩分解实现高效微调，显著降低训练成本。