【Python】【机器学习】集成算法（随机森林、提升算法）

bagging类似集成电路的并联，取平均；boosting类似串联，加强。

Bagging

神经网络是黑盒，判断逻辑不可解释

feature importance的原理：
计算特征组ABCD和AB’CD的结果，（B’是B数据的破坏或随机打乱或随机加入噪音点干扰值），在使用相同模型下：
AB’CD的结果如果与ABCD结果差不多，则B特征不重要；
如果err(AB’CD)>>err(ABCD)，则B特征重要。

Boosting

AdaBoot算法会把上一次预测错的数据的权重增大。
Xgboost一步步处理二八原则的二。如100数据样本，第一棵树预测的error有20，第二棵树的样本是从这20中进一步预测，而非从100预测。以此类推。最终的预测结果是树1+树2+…+树N。效率低但效果好。

Stacking