★ 2
D-SLR：不相交行稀疏加低秩分解压缩矩阵
论文提出 D-SLR 分解，作为截断 SVD 的闭式替代方案，将矩阵行分为逐字存储或低秩近似两类，互不重叠。在平方误差下该限制不增加成本，且算法仅需三次 SVD 计算，无需调参，在 LLM 嵌入表等真实数据上验证了压缩增益。
arXiv cs.LG24 天前
共 2 篇相关资讯，按重要度与时间排序，每 3 小时更新。
论文提出 D-SLR 分解，作为截断 SVD 的闭式替代方案，将矩阵行分为逐字存储或低秩近似两类，互不重叠。在平方误差下该限制不增加成本，且算法仅需三次 SVD 计算，无需调参，在 LLM 嵌入表等真实数据上验证了压缩增益。
论文研究矩阵与曲率类优化器（SignGD、Adam、Muon、Shampoo、K-FAC）在深度矩阵分解中如何影响奇异模态的涌现与衰减。作者在平衡与对齐假设下推导出各优化器的模态诞生、饱和与衰减规律，发现并非简单的低秩偏置强弱排序：SignGD 与理想 Muon 可消除发散出生壁垒，而带阻尼的 K…