#LLM优化

基于权重冗余的无前向LLM深度剪枝

论文提出权重冗余剪枝（WRP），一种无需校准数据或模型前向传播的深度剪枝方法，通过比较各层注意力输出和MLP下投影权重的相似性来估计层间冗余。在多种剪枝设置、模型家族和下游任务上，WRP持续优于现有无前向幅度剪枝方法，并接近基于激活的方法的性能。