arXiv cs.LGOllama·11 天前★ 3

LADDER 提出分层稀疏分配，提升 LLM 高稀疏度剪枝鲁棒性

原文标题：Building a Nested LADDER for LLM Unstructured Post-Training Pruning

重要度 3/5 · AI 综合评估报道影响力与新鲜度，4–5 分为高价值资讯。

AI 智能摘要

论文提出 LADDER，按层逐步分配稀疏度，每步选择单位参数端到端退化最小的层更新，生成非均匀稀疏剖面与跨预算严格嵌套掩码。在 OPT、Llama、Qwen 五个模型 10%–90% 稀疏度上，LADDER 在低稀疏度与基线相当，但从 70% 起明显更稳健，后蒸馏后优势在五个模型中四个保留。

论文速读 · 四段结构cs.LG去论文速读 →

问题: 大模型训练后剪枝在高稀疏度下质量急剧下降，非均匀分配仍不够稳。
方法: 按层逐步分配稀疏度，每步选单位参数端到端退化最小的层更新，得到非均匀剖面与跨预算严格嵌套掩码。
结果: 在 OPT、Llama、Qwen 五个模型 10%–90% 稀疏度上，低稀疏度与基线相当，70% 起明显更稳健，后蒸馏后五个模型中四个保留优势。
影响: 需要把模型压到 70% 以上稀疏度部署的团队可据此减少精度崩塌，且嵌套掩码便于一次训练多档预算。

深读 · 结论先行AI 生成展开看要点与影响 ↓

LADDER按层逐步分配稀疏度，70%以上稀疏度时明显更稳健

为什么重要：对需要高稀疏度部署LLM的工程团队，这提示稀疏度分配策略的收益集中在高压缩区间。

以上深读由 AI 依据标题/摘要/正文节选生成，仅供参考；事实以原文为准。

AI 处理过程展开/收起

原始标题：Building a Nested LADDER for LLM Unstructured Post-Training Pruning

AI 中文标题：LADDER 提出分层稀疏分配，提升 LLM 高稀疏度剪枝鲁棒性

来源：arXiv cs.LG · 发布于 11 天前

分类：学术研究 · AI 重要度：★ 3（3）

标签：模型剪枝 / 稀疏化 / 模型压缩 / 大模型

关键词：模型剪枝 / 稀疏化 / LLM 压缩 / SparseGPT / 训练后剪枝

AI 处理：2026/10/22 12:02:12 · 模型 deepseek-chat · 规则版本 2026-10-21.1

AI 生成以上内容由 AI 自动生成：中文标题、摘要、分类与重要度；同一事件的多家报道会自动归并展示。内容仅供参考，可能存在偏差，请以原文为准，不构成任何投资或专业建议。
版权归原作者与原发布平台所有；若涉及侵权或信息错误，请在举报与侵权投诉页反馈，我们会及时处理。

相关推荐