2.28 GBDT算法原理详解：梯度提升决策树，从数学推导到代码实现

2.28 GBDT算法原理详解：梯度提升决策树，从数学推导到代码实现

引言

GBDT（Gradient Boosting Decision Tree）是梯度提升决策树，是集成学习中最强大的算法之一。XGBoost、LightGBM都是基于GBDT的优化。本文将深入解析GBDT的数学原理，并提供完整的代码实现。

一、GBDT原理

1.1 核心思想

GBDT通过串行训练多个决策树，每个树修正前面所有树的误差。