★ 3
研究：冻结解码器仅修复编码器可压缩KV缓存
论文指出在共享学习率下比较参数高效微调方案存在混淆偏差。作者在基于SVD的KV缓存压缩场景中发现，冻结解码器、仅修复编码器看似占优，但为每个方案单独调参后优势消失，仅编码器修复达到同等效果，且可训练参数和优化器状态内存均减少3倍。该结论在Qwen2.5-VL-3B-Instruct等模型上验证。
arXiv cs.LG24 天前
#SVD
共 3 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
GRRR：解码器LLM后训练中权重重塑、旋转与路由的几何分析
论文研究后训练如何相对预训练权重改变 LLM 参数，在 12 条包含 SFT 与 RL 的后训练链中，将每次权重更新表达在预训练矩阵的 SVD 框架下。分解出对角（重塑奇异值）、非对角（旋转耦合）与零空间（路由）三类几何分量。数学评测显示移除对角分量通常仍保留大部分后训练收益，说明增益主要来自重构…
arXiv cs.LG41 天前
★ 2
D-SLR：不相交行稀疏加低秩分解压缩矩阵
论文提出 D-SLR 分解，作为截断 SVD 的闭式替代方案，将矩阵行分为逐字存储或低秩近似两类，互不重叠。在平方误差下该限制不增加成本，且算法仅需三次 SVD 计算，无需调参，在 LLM 嵌入表等真实数据上验证了压缩增益。
arXiv cs.LG24 天前
这个主题的相关资产
相关公司阿里巴巴1