自学笔记——集成学习

集成学习

bagging和boosting都属于ensemble的范畴，将已有的分类器或者拟合算法通过某种方式组合起来，形成性能更强大的分类器。

典型的bagging：随机森林
典型的boosting：adaboost, GBDT, xgboost

一、bagging

bagging策略：

1. 在训练集中抽取n个子样本
2. 在所有属性上，对n个样本作训练，生成1个分类器
3. 重复上述两步骤m次，并行训练，生成m个分类器
4. 将数据放在m个分类器上跑，用投票机制决定分到哪一类

bagging的局限性：
由于并行训练，分类器之间相互独立，存在所有分类器都会自同一个区域内获得

随机森林（random forest）：

1. 在训练集中随机抽取n个子样本
2. 在属性集中随机选择k个属性，构造出一个决策树（CART）
3. 重复上述两步骤m次，并行生成m个决策树，每颗决策树都最大可能地进行生长而不进行剪枝，多个决策树构成一片森林，决策树之间相互独立
4. 将数据放在决策树里跑，用投票机制归属分类（默认每颗树权重一致）

RF的优点：
选择训练的样本为子样本，不容易过拟合；
有效的降维方法，在高维数据集处理中，可处理大量输入变量，并输出变量的重要性程度

RF的缺点：
解决回归问题不友好，无法做预测；
像个黑盒子——无法控制模型内部运行，只能在不同参数和随机种子之间做尝试

二、boosting

boosting策略：

串行训练或叫迭代训练弱分类器

1. 在整个训练数据集上训练模型h1
2. 对h1表现较差的区域的数据加权，并在这些数据上面训练模型h2
3. 对h1≠h2的区域的数据加权重，并在这些数据上训练模型h3
4. …

boosting的缺点：
由于对噪声数据和异常数据敏感，每次迭代会给噪声点较大的权重；
串行的运行速度慢；

总结