★ 2
D-SLR:不相交行稀疏加低秩分解压缩矩阵
论文提出 D-SLR 分解,作为截断 SVD 的闭式替代方案,将矩阵行分为逐字存储或低秩近似两类,互不重叠。在平方误差下该限制不增加成本,且算法仅需三次 SVD 计算,无需调参,在 LLM 嵌入表等真实数据上验证了压缩增益。
arXiv cs.LG24 天前
共 1 篇相关资讯,按重要度与时间排序,每 3 小时更新。
论文提出 D-SLR 分解,作为截断 SVD 的闭式替代方案,将矩阵行分为逐字存储或低秩近似两类,互不重叠。在平方误差下该限制不增加成本,且算法仅需三次 SVD 计算,无需调参,在 LLM 嵌入表等真实数据上验证了压缩增益。