技术
low-rank(低秩)
low-rank(低秩)指矩阵的秩远小于其行数和列数,即矩阵的行或列向量之间存在线性相关性。在机器学习中,低秩假设用于降维、压缩和正则化,解决高维数据中的过拟合和计算效率问题,典型应用包括矩阵补全和LoRA微调。
详细解释
低秩矩阵可分解为两个小矩阵的乘积,从而减少存储和计算量。在推荐系统中,用户-物品评分矩阵常被假设为低秩,通过矩阵分解进行补全。在深度学习中,低秩约束可用于卷积核分解、注意力机制优化等。此外,低秩近似是主成分分析(PCA)的基础。LoRA技术正是利用低秩假设,将权重更新分解为低秩矩阵,实现高效微调。
别名与相关写法
low-rank
相关术语
Low-Rank Adaptation共现 7 篇
LoRA共现 6 篇
Large Language Models共现 2 篇
continual learning共现 2 篇
Hallucination Detection共现 1 篇
相关公司
相关资讯
压缩三位一体:联合稀疏化、量化与低秩近似压缩LLM2026/8/26
低秩激活引导实现参数高效决策算子2026/10/7
AttSVD:注意力引导的低秩KV缓存压缩2026/10/7
PaLoRA:面向持续学习的节奏化低秩适配2026/10/6
基于 lp 正则的 LoRA 自动秩分配方法2026/9/25
ALOE:语义寻址低秩算子知识编辑2026/9/25
CLAW:世界模型的摊销低秩适配2026/9/14
Aplaud:自适应低秩分解实现用户专属LLM2026/9/7