集成学习常见概念的优缺点总结

如大家所知，集成学习是一种利用多个基础模型来构建更加准确、稳定的预测模型的机器学习技术。集成学习的基本思想是将多个模型组合起来，通过集体决策来提高模型的预测性能。它能够有效地降低单个模型的过拟合风险，提高模型的泛化性能。

集成学习常见概念的优缺点总结：

Bagging VS Boosting

* Bagging

* 主要关注降低方差，在不容易受样本扰动的学习器上的效用更明显

* 可以有效地缓解过拟合问题，但它对于噪声数据的容忍度较低

* Boosting

* 更多地关注如何减小模型的偏差

* 可以提高模型的泛化能力，但容易受到噪声数据的干扰

GDBT VS XGBoost

* GBDT 只用到了损失函数的一阶导；XGboost 用到了损失函数的二次导，效果会更好

* XGBoost 加入了一个正则化项，包含了叶子节点的个数和各个叶子节点输出值的平方之和

* XGBoost 引入了列抽样，能够降低过拟合的风险，也减少了计算量

* 当遇到负增益时，GBDT 会马上停止分裂，但是 XGBoost 会一致分裂到指定的最大深度，然后回来剪枝

* XGBoost 引入了并行，多线程地计算特征的增益，后面的迭代可以重复使用