集成学习知识点讲解

集成学习知识点讲解

集成学习知识点讲解文档

知识导图（Plain Text）

集成学习 ├─ 集成学习基础 │ ├─ 定义：多弱学习器组合成强学习器 │ ├─ 思想：弱者联盟，稳、准、抗过拟合 │ └─ 两类：Bagging、Boosting ├─ Bagging │ ├─ 抽样：有放回随机抽样 │ ├─ 训练：并行、独立 │ └─ 输出：平权投票、多数表决 ├─ Boosting │ ├─ 训练：串行、关注前序错误 │ ├─ 权重：样本加权、学习器加权 │ └─ 输出：加权投票 ├─ Bagging vs Boosting 对比 │ ├─ 采样方式 │ ├─ 并行/串行 │ └─ 投票机制 └─ 随机森林 ├─ 基模型：CART决策树 ├─ 双随机：样本随机 + 特征随机 ├─ 构建步骤 ├─ API与参数 └─ 案例：泰坦尼克号预测

核心名词解释

• 集成学习：组合多个弱学习器得到更精准、更稳定的强学习器。
• 弱学习器：效果一般、结构简单的基础模型。
• Bagging：并行式集成，有放回抽样，平权投票。
• Boosting：串行式集成，修正错误，加权投票。
• Bootstrap 抽样：有放回随机采样。
• 随机森林：Bagging + 决策树 + 双随机策略。
• 多数表决：Bagging 的预测方式，取票数最多结果。
• 加权投票：Boosting 的预测方式，按权重累加。

一、集成学习基础

1.1 什么是集成学习

集成学习通过组合多个弱学习器构建更强模型。

• 训练：依次训练多个弱模型
• 预测：所有弱学习器联合决策
• 优势：比单个模型更准、更稳、更不易过拟合

1.2 核心思想：弱者联盟

• 单个复杂模型 → 能力过强 → 容易过拟合
• 多个简单模型组合 → 能力变强、泛化更好

1.3 集成学习分类

• Bagging：随机森林
• Boosting：Adaboost、GBDT、XGBoost、LightGBM

二、Bagging 思想

2.1 Bagging 流程

1. 对训练集有放回随机抽样，生成多个训练集
2. 并行训练多个独立学习器
3. 平权投票、多数表决输出结果

2.2 Bagging 示例步骤

1. 采样不同数据
2. 训练分类器
3. 平权投票得到最终结果

三、Boosting 思想

3.1 Boosting 流程

1. 串行训练
2. 每一个学习器重点纠正前一个的错误
3. 加权投票得到最终结果

3.2 Boosting 举例

逐步变强、层层弥补不足
代表：Adaboost、GBDT、XGBoost、LightGBM

四、Bagging vs Boosting 对比

4.1 本节总结

• 集成学习 = 多个弱模型组合
• Bagging：并行、有放回、平权投票
• Boosting：串行、纠错、加权投票

五、随机森林算法

5.1 随机森林定义

基于Bagging + 决策树的集成算法：

1. 有放回抽样
2. 随机选择部分特征
3. 训练多棵 CART 树
4. 平权投票输出结果

5.2 随机森林构建步骤

1. 随机选 m 条样本（有放回）
2. 随机选 k 个特征
3. 训练一棵决策树
4. 重复构建 n 棵树
5. 投票输出

5.3 关键问题

1. 为什么随机抽样？
   不抽样 → 所有树完全一样，集成无意义。
2. 为什么有放回？
   使树之间既有差异又有重叠，投票更有效。

5.4 随机森林 API

from sklearn.ensemble import RandomForestClassifier

重要参数：

六、案例：泰坦尼克号生存预测

import pandas as pd from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import GridSearchCV def dm01_随机森林(): # 1 读取数据 titan = pd.read_csv("./data/titanic/train.csv") # 2 特征与标签 x = titan[["Pclass", "Age", "Sex"]].copy() y = titan["Survived"] # 3 缺失值填充 x['Age'].fillna(titan["Age"].mean(), inplace=True) # 4 One-Hot 编码 x = pd.get_dummies(x) # 5 数据集划分 x_train, x_test, y_train, y_test = train_test_split( x, y, random_state=22, test_size=0.2 ) # 6 单一决策树 dtc = DecisionTreeClassifier() dtc.fit(x_train, y_train) print('决策树准确率：', dtc.score(x_test, y_test)) # 7 随机森林 rfc = RandomForestClassifier(max_depth=6, random_state=9) rfc.fit(x_train, y_train) print('随机森林准确率：', rfc.score(x_test, y_test)) # 8 网格搜索调参 estimator = RandomForestClassifier(random_state=9) param = { "n_estimators": [40,50,60,70], "max_depth": [2,4,6,8,10] } grid = GridSearchCV(estimator, param, cv=2) grid.fit(x_train, y_train) print('最优准确率：', grid.score(x_test, y_test)) print('最优模型：', grid.best_estimator_)

6.1 本节总结

• 随机森林 = Bagging + 决策树 + 双随机
• 步骤：抽样 → 选特征 → 建多棵树 → 投票
• API：RandomForestClassifier
• 效果明显优于单决策树

6.2 练习

答案：B → A → D → C

七、全章总结

1. 集成学习：组合弱学习器，提升精度与稳定性
2. Bagging：并行、有放回、投票（随机森林）
3. Boosting：串行、纠错、加权（GBDT/XGBoost）
4. 随机森林：双随机策略，抗过拟合、效果强
5. 实战：泰坦尼克号预测，随机森林明显更优