★ 3
GS-MoE 提出免训练 MoE 压缩，DeepSeek-MoE 减参 60% 保留九成性能
论文提出免训练 MoE 压缩框架 GS-MoE，通过组内共享低秩子空间与基于 Nyström 的神经元压缩两条轴削减专家冗余。在 DeepSeek-MoE-16B-Base 上参数减少 60% 仍保留约 90% 推理性能，优于 D²-MoE 的 73%，并开源代码。
arXiv cs.LG7 天前
#低秩分解
共 7 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
Stiefel-AdamW：面向线性分解块的几何优化器
论文提出 Stiefel-AdamW，针对 LoRA 适配器、低秩压缩层、自注意力 QK 乘积等 W=BA 线性分解块，将其中一个因子约束在 Stiefel 流形上，把完全 GL(r) 规范对称性降为紧正交对称，避免因子爆炸同时保留 AdamW 的逐坐标预条件。在 GPT2、ViT、Mistral…
arXiv cs.LG42 天前
★ 3
Aplaud：自适应低秩分解实现用户专属LLM
Aplaud框架扩展LoRA，将适应分解为冻结共享基和紧凑用户修正，并引入秩一残差，进一步降低每用户参数成本。在调查响应预测任务中，Aplaud在泛化和推理效率上均优于现有基于LoRA的个性化方法。
arXiv cs.AI56 天前
★ 2
分层低秩重参数化压缩 PEFT 可训练参数近一个数量级
论文发现参数高效微调（PEFT）引入的可训练参数仍存在冗余，提出分层低秩重参数化方法，将可训练参数重组为近似方阵并递归做低秩分解。与 LoRA、DoRA、MoSA、RaSA 结合后在 LLaMA-3.1-8B 与 Qwen2.5-7B 上评测，参数量压缩约一个数量级仍保持竞争力，八项常识推理平均准…
arXiv NLP5 天前
★ 2
LOTUS：低秩多线性分解检测大模型幻觉
该论文提出 LOTUS（低秩阶统计 Tucker 子空间学习）框架，通过多线性低秩分解从大模型隐藏状态中提取紧凑表征，用于幻觉检测。方法先用统计描述子汇总变长 token 表征，再以低秩分解捕捉跨层结构，训练轻量分类器。实验在多个大模型与问答基准上优于现有最优基线，并降低对标注数据的依赖。
arXiv NLP5 天前
★ 2
arXiv：LRCC 低秩条件计算压缩语言模型
研究提出低秩条件计算（LRCC），在每个 Transformer 块训练轻量路由器，在嵌套低秩路径中选择，实现按 token 分配计算量，训练时冻结低秩因子只优化路由器。在 Llama-2-7B 上平均下游准确率比静态低秩压缩提升 7.6 个百分点，并在 Llama-3.2-1B 上同时改善困惑度…
arXiv NLP25 天前
★ 2
SpaFactor：轻量空间基因程序建模
研究提出 SpaFactor，一种轻量低秩形态-程序-基因分解框架，从常规 H&E 图像预测空间转录组表达。它融合中心点位与多尺度邻域上下文，通过残差 MLP 学习组织微环境到低维基因程序的映射。在五个公开队列上取得最佳综合表现，尤其改善空间可变基因预测。
arXiv cs.LG38 天前