决策树：划分规则、剪枝方法与适用场景

决策树（Decision Tree）算法详细介绍

决策树是机器学习中经典的分类与回归算法，它的核心思想是模拟人类的决策过程——通过对数据特征的层层判断，最终得到分类或回归结果。决策树的结构直观易懂，就像一棵“判断树”，自上而下包含根节点、内部节点、叶节点，无需复杂的数学推导就能解释预测逻辑。

一、 决策树的基本结构

一棵完整的决策树由三类节点组成：

1. 根节点：树的最顶端，是整个决策过程的起点，包含全部训练数据，并基于某个特征进行第一次划分。
   例：预测“是否购买电脑”，根节点可以是“年龄”。
2. 内部节点：树的中间节点，代表一次特征判断，每个内部节点都会将数据划分为多个子集。
   例：根节点“年龄”划分为“青年、中年、老年”三个分支，每个分支对应一个内部节点，可继续用“收入”“信用等级”等特征划分。
3. 叶节点：树的最底端，代表最终的决策结果（分类任务是类别，回归任务是连续值），叶节点不再划分数据。
   例：“购买电脑=是”“购买电脑=否”就是叶节点。

核心逻辑：从根节点出发，每一步根据特征的判断结果走不同分支，最终落到叶节点，得到预测结论。

二、 决策树的核心问题：如何选择划分特征？

决策树的训练过程，本质是选择最优特征对数据进行划分——让划分后的子集尽可能“纯净”（即子集内的数据属于同一类别）。衡量“纯净度”的指标有三种，对应不同的决策树算法。

1. 信息增益（ID3算法）

（1） 前置概念：信息熵

信息熵是衡量数据混乱程度的指标，熵越高，数据越混乱；熵越低，数据越纯净。
对于数据集D DD，假设包含K KK个类别，第k kk类样本占比为p k p_kpk​，则信息熵公式为：
E n t ( D ) = − ∑ k = 1 K p k log ⁡ 2 p k Ent(D) = -\sum_{k=1}^K p_k \log_2 p_kEnt(D)=−k=1∑K​pk​log2​pk​

• 若D DD中所有样本都是同一类别（完全纯净），E n t ( D ) = 0 Ent(D)=0Ent(D)=0；
• 若D DD中样本均匀分布在所有类别（最混乱），E n t ( D ) Ent(D)Ent(D)最大。

（2） 信息增益的定义

信息增益表示通过某个特征划分数据后，信息熵的减少量。减少量越大，说明这个特征的划分效果越好。
假设特征A AA将数据集D DD