★ 4
压缩三位一体：联合稀疏化、量化与低秩近似压缩LLM
传统压缩技术单独应用会遭遇精度-效率墙。提出“压缩三位一体”框架，联合应用稀疏化、量化和低秩近似。在预训练加速和训练后压缩中均取得显著效果，如SLiM方法在同等参数预算下比最先进方法精度提升5.66%，甚至超越未压缩的密集模型。
arXiv cs.AI68 天前
#稀疏化
共 8 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
研究对比 2:4 稀疏与量化：大模型推理该选哪一步
论文在等比特与等张量核档位下比较 2:4 半结构化稀疏与量化，覆盖三代 GPU 与 Transformer 层全部六个 GEMM 操作数。结论是只要还有更低精度可选，加 2:4 都是更差的一步；量化到底后 2:4 仍可提速线性层 1.3–1.7 倍，H100 上 FP8 稀疏模型预填充吞吐提升 2…
arXiv cs.LG11 天前
★ 3
LADDER 提出分层稀疏分配，提升 LLM 高稀疏度剪枝鲁棒性
论文提出 LADDER，按层逐步分配稀疏度，每步选择单位参数端到端退化最小的层更新，生成非均匀稀疏剖面与跨预算严格嵌套掩码。在 OPT、Llama、Qwen 五个模型 10%–90% 稀疏度上，LADDER 在低稀疏度与基线相当，但从 70% 起明显更稳健，后蒸馏后优势在五个模型中四个保留。
arXiv cs.LG11 天前
★ 3
SpaRLax 提出面向 LLM 推理的稀疏强化学习松弛方法
论文针对软思维链（soft CoT）训练难题，提出 SpaRLax 稀疏松弛方法，利用软推理在时间步上的可微性传播梯度，使训练更稳定。方法采用 entmax 稀疏化自适应决定软化程度，在自信步骤截断长尾噪声、不确定时保留多个候选。在九个推理基准上平均表现最优。
arXiv cs.AI12 天前
★ 3
基于 lp 正则的 LoRA 自动秩分配方法
论文针对 LoRA 微调中秩分配依赖人工重要性分数的问题，提出 ℓp-LoRA，基于 0<p<1 的 ℓp 正则实现有原则的秩分配。方法对每个秩一分量能量正则化，使冗余分量消失，并推导出隐式阈值判据。在自然语言理解与问答任务上取得与现有 LoRA 基线相当的性能。
arXiv cs.LG38 天前
★ 3
OBC-Prune：面向大推理模型的基于结果校准剪枝
大推理模型生成冗长思维链带来显著推理开销，剪枝效果取决于校准数据。近期工作用模型自身 rollout 校准，却对所有推理 token 一视同仁，导致错误计算背后的权重与正确计算一样被保留。论文提出 OBC-Prune，先构造难度匹配的正确与错误 rollout 对，再通过干预分析估计每句推理的因果…
arXiv cs.AI46 天前
★ 2
EDiS：图神经网络边不相交子图稀疏化
arXiv 论文提出 EDiS 框架，将图一次性分解为可缓存的边不相交子图，再按边预算约束跨轮次重组为训练图，无需重复提取结构。在 19 个节点分类基准上对比 17 个基线，取得最高平均分与最低平均排名，在紧边预算下优势最明显。
arXiv cs.LG25 天前
★ 1
双GNN多级粗化求解最大独立集
论文针对欧氏 TSP 提出基于学习的图边稀疏化方法 GES，结合几何结构与组合优化技术自适应生成稀疏图。在 MATILDA 数据集上可剪枝多达 95% 的边且解差距保持在 1% 以内，在 TSPLIB 上部分大规模实例剪枝率超 99%、最优性差距仍低于 1%。
arXiv cs.LG40 天前