★ 3
研究提出 PEEP 与 DCEP：MoE 大模型结构化专家剪枝方法
论文指出 MoE 层专家输出存在结构化冗余，将专家剪枝重构为结构保持的子集选择问题，并提出 PEEP 与 DCEP 两种剪枝方法。在 DeepSeek-V2-Lite 与 Qwen3-30B-A3B 上，75% 与 50% 保留率下多数基准优于现有方法，可降低部署显存开销。
arXiv cs.AI3 小时前
#模型剪枝
共 16 篇相关资讯，按重要度与时间排序，每 3 小时更新。
★ 3
LADDER 提出分层稀疏分配，提升 LLM 高稀疏度剪枝鲁棒性
论文提出 LADDER，按层逐步分配稀疏度，每步选择单位参数端到端退化最小的层更新，生成非均匀稀疏剖面与跨预算严格嵌套掩码。在 OPT、Llama、Qwen 五个模型 10%–90% 稀疏度上，LADDER 在低稀疏度与基线相当，但从 70% 起明显更稳健，后蒸馏后优势在五个模型中四个保留。
arXiv cs.LG11 天前
★ 3
arXiv 论文：LayerTrim 保留注意力剪枝推理模型
论文提出 LayerTrim，一种无需训练的结构化剪枝方法，通过识别冗余解码层并选择性裁剪其 MLP 特征，同时保留注意力与解码深度。在 Qwen3-14B 上实现 1.24 倍预填充加速与 19.7% 峰值显存下降，并更好保留推理能力。
arXiv cs.LG18 天前
★ 3
TAP：轨迹锚定恢复的长程智能体剪枝
论文提出 TAP，首个面向强化学习训练智能体的结构化剪枝框架，结合结构剪枝与高效在线策略恢复。它用冻结稠密教师监督学生响应前缀，并迭代重评通道，在移除 60% FFN 通道后仍保留 ALFWorld 99.2%、WebShop 88.0% 的任务成功率。
arXiv cs.LG25 天前
★ 3
MoRA：基于路由偏置学习的 MoE 剪枝
针对混合专家模型部署时显存占用大的问题，论文提出 MoRA 结构化专家剪枝框架。它为每个专家引入可学习路由偏置，通过最小化语言建模损失与路由多样性正则来识别关键专家，并加入专家近似机制用剩余专家拟合被剪枝专家的输出。在 Qwen3-30B-A3B、DeepSeek-V2-Lite、Moonligh…
arXiv cs.LG31 天前
★ 3
OMP-MoE：基于正交匹配追踪的专家剪枝
论文提出 OMP-MoE，一种无需训练的 MoE 大模型专家剪枝框架，将剪枝问题重构为稀疏信号重建任务并用正交匹配追踪求解。方法还通过注水策略优化跨层专家分配，并引入自适应推理机制动态调整专家激活。在 Qwen3-30B-A3B 上 50% 压缩仍保留 93.3% 性能，搜索速度提升 33 倍，推…
arXiv cs.LG34 天前
★ 3
OBC-Prune：面向大推理模型的基于结果校准剪枝
大推理模型生成冗长思维链带来显著推理开销，剪枝效果取决于校准数据。近期工作用模型自身 rollout 校准，却对所有推理 token 一视同仁，导致错误计算背后的权重与正确计算一样被保留。论文提出 OBC-Prune，先构造难度匹配的正确与错误 rollout 对，再通过干预分析估计每句推理的因果…
arXiv cs.AI46 天前
★ 3
基于权重冗余的无前向LLM深度剪枝
论文提出权重冗余剪枝（WRP），一种无需校准数据或模型前向传播的深度剪枝方法，通过比较各层注意力输出和MLP下投影权重的相似性来估计层间冗余。在多种剪枝设置、模型家族和下游任务上，WRP持续优于现有无前向幅度剪枝方法，并接近基于激活的方法的性能。
arXiv cs.LG53 天前
★ 3
基于损伤感知的Transformer剪枝方法
研究将语言和视觉Transformer的结构化剪枝建模为损伤感知的多臂老虎机问题，在固定评估预算下选择功能单元。配对损伤减少批次间差异，平滑有界奖励驱动UCB或分数Beta汤普森采样。实验覆盖多种模型，与随机、幅度等基线相比，老虎机方法通常减少性能下降，但效果并非仅由更大预算解释。
arXiv cs.AI54 天前
★ 2
开源工具 NeuronDump 将本地 LLM 可视化为 3D 图并剪枝
开发者发布开源工具 NeuronDump，可将 GGUF 格式本地模型以 3D 图形式展开，查看层、注意力头与词表结构。用户能切除冗余部分并导出更小的 GGUF，仍可在 Ollama 与 llama.cpp 中运行，并支持模拟剪枝影响。
Hacker News – LLM7 天前
★ 2
EdgeLLM-Nano：33.6MB 端侧模型的 KV 缓存压缩审计
研究以 8.39M 参数（33.6MB）的端侧解码器模型为测试台，系统审计 KV 缓存压缩方法。结果对极坐标引导键缓存量化与一致性锚定渐进剪枝给出负面结论，并提出 Long-Context Decode Fidelity 评估，比困惑度更能区分不同压缩后端。
arXiv NLP19 天前
★ 2
arXiv 论文：多语言语音解析中中间神经网络的剪枝研究
该论文研究端到端语音解析中中间神经网络的作用，提出一种更简洁的架构，移除中间 NN 单元后参数减少 12%，在 ASR 与解析任务上性能相当或更优。研究在法语及中低资源语言斯洛文尼亚语和 Naija 语上评估，并分析训练数据规模与预训练语音编码器中间层的影响。
arXiv NLP24 天前
★ 2
ReCal：结构化剪枝的在线蒸馏恢复校准方法
论文提出 RECAL（Recovery-Aware Calibration），在剪枝前调整校准统计量，利用未剪枝教师与剪枝探针之间的前向 KL 识别被破坏的预测并重新加权。该方法在多个模型与剪枝方法上提升在线策略蒸馏后的数学推理能力，AIME 最高提升 16.7 个百分点，代码生成任务多数也有改善。
arXiv NLP24 天前
★ 2
模型铸造与低参数门控：实现更稀疏激活的前馈网络
论文提出「模型铸造」（model casting）这一中期训练方法，通过大幅稀疏化前馈网络（FFN）激活，在推理时先计算门控矩阵输出，利用其高稀疏性跳过另外两个矩阵的计算，最多减少 3 倍 FLOP。作者进一步提出 LoPA Gating，一种低 FLOP 的门控矩阵参数化设计，突破 3 倍加速上…
arXiv cs.LG34 天前
★ 2
面向低轨卫星星座的资源感知联邦专家混合与自适应剪枝
论文提出 COSMIC-FL 框架，用于低轨卫星星座上的高效在轨学习。该框架引入切片式与模块化两种专家混合（MoE）架构，并结合语义类别到专家的映射与三种结构化剪枝策略，使卫星仅训练和通信与本地数据相关的专家路径。在六个图像分类基准上，其通信、计算与能耗较 SOTA 联邦学习方法最多降低 80%，…
arXiv cs.LG34 天前
★ 2
一次性幅度剪枝与计算自适应早退的理论保证
该论文从「部分计算 vs 完整计算」的统一视角研究神经网络计算削减，涵盖静态的一次性幅度剪枝与自适应的早退机制。作者在渐近单神经元模型中证明了剪枝的集中定理并给出显式收敛速率，并提出条件感知机刻画早退的泛化误差随计算差距幂律衰减。研究进一步扩展到深度网络，刻画剪枝失真随深度的累积，并在神经网路高斯…
arXiv cs.LG49 天前