Gradient Boosting（梯度提升）

梯度提升由Friedman于2001年提出，基于提升思想，每轮训练一个弱学习器（通常是决策树）来拟合当前模型的负梯度，从而逐步减少损失。它结合了梯度下降和提升，能处理多种损失函数。XGBoost和LightGBM是其高效实现，广泛用于Kaggle竞赛和工业界。