Pruning（剪枝）

剪枝技术分为结构化剪枝和非结构化剪枝。非结构化剪枝移除单个权重，产生稀疏矩阵，但需要专用硬件加速；结构化剪枝移除整个通道或层，更利于通用硬件。早期方法基于权重幅度，后来发展出基于重要性的迭代剪枝。Lottery Ticket Hypothesis表明稀疏子网络可独立训练达到相当性能。剪枝能大幅降低模型存储和计算需求，但可能损失精度，需精细调优。