Depth Pruning（深度剪枝）

深度剪枝针对神经网络深度维度进行压缩，与宽度剪枝不同，它直接删除整个层或模块。方法包括基于重要性的层丢弃、可微分门控和知识蒸馏辅助。挑战在于保持模型精度，常需微调恢复性能。在Transformer中，可移除部分注意力层或FFN层，显著降低延迟和内存占用。