★ 4
压缩三位一体：联合稀疏化、量化与低秩近似压缩LLM
传统压缩技术单独应用会遭遇精度-效率墙。提出“压缩三位一体”框架，联合应用稀疏化、量化和低秩近似。在预训练加速和训练后压缩中均取得显著效果，如SLiM方法在同等参数预算下比最先进方法精度提升5.66%，甚至超越未压缩的密集模型。
arXiv cs.AI68 天前
#低秩近似
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 2
D-SLR：不相交行稀疏加低秩分解压缩矩阵
论文提出 D-SLR 分解，作为截断 SVD 的闭式替代方案，将矩阵行分为逐字存储或低秩近似两类，互不重叠。在平方误差下该限制不增加成本，且算法仅需三次 SVD 计算，无需调参，在 LLM 嵌入表等真实数据上验证了压缩增益。
arXiv cs.LG24 天前
★ 2
K²SVD：基于卡尔曼推断的原理化Koopman表示
论文提出K²SVD方法，通过优化Hilbert-Schmidt目标显式学习Koopman算子的主导奇异函数，构建数学上一致的低秩表示。该方法结合线性高斯状态空间模型与卡尔曼滤波进行多步预测，潜空间维度不足此前工作的10%，在多个数据集上超越现有最优方法且预测更快、算力更低。
arXiv cs.LG46 天前