技术
low-rank projection（低秩投影）
低秩投影是一种通过将高维数据映射到低维子空间来降低计算复杂度和存储开销的技术，同时保留主要信息。它广泛应用于模型压缩、特征降维和微调中，如LoRA（低秩适应）通过低秩矩阵分解实现大模型高效微调。
详细解释
低秩投影基于矩阵分解，如奇异值分解（SVD）或主成分分析（PCA），将原始权重矩阵W近似为两个低秩矩阵的乘积。在深度学习中，它用于减少全连接层或注意力层的参数。LoRA是典型应用，它冻结预训练权重，仅训练低秩更新矩阵，大幅减少可训练参数。此外，低秩投影也用于推荐系统、图像去噪等领域。其有效性依赖于数据内在的低秩结构假设。
别名与相关写法
low-rank projection