Wanda（Wanda 剪枝）

Wanda（Pruning by Weights and Activations）由 Sun 等人于 2023 年提出，是一种无需重新训练的一次性剪枝技术。它认为权重的的重要性不仅取决于其大小，还取决于对应的输入激活。具体地，对每个权重计算 |W| * ||X||，其中 X 是校准数据上的输入激活，然后按此指标进行剪枝。Wanda 简单高效，在多种 LLM 上实现了高稀疏度且保持性能，优于传统的幅度剪枝。