Ablation Study（消融实验）

Ablation Study源于医学和心理学中的消融实验，在机器学习中用于分析模型各部分的相对重要性。具体做法是：在完整模型的基础上，逐一移除或替换某个组件（如某层、某损失项、某特征），观察性能变化。如果移除后性能显著下降，说明该组件重要。消融实验有助于理解模型工作机制，避免过度复杂的设计，并指导模型简化。典型应用包括Transformer中注意力头的消融、正则化项的消融等。它是论文中验证方法有效性的标准实验之一。