综合起来-决策树

我们可以通过信息增益来判断节点上应该用什么特征

接下来我们将探讨如何构建一个多个节点的大型决策树

1 从根节点开始，包括所有的训练样本计算所有可能的信息增益，

然后选择信息增益最高的特征进行分裂，选择了该特征后，所选特征会将信息分成两个子集，创建数的左右分支，并根据样本的特征值，

将训练特征发送到左分支，或者右分支，这使得你可以在根节点进行一个分裂，

之后再左右分支重复分裂的过程，知道满足停止标准，

停止标准，一个节点纯度是100% 熵是0

或者达到数的最大深度

进一步分裂的信息上小于某一个阈值

节点中的样本数量小于某个阈值

完整详细流程

首先在根节点一次计算每个特征的信息增益，决定耳型是最佳的分裂特征

基于此创建了树的左右分支，并将具有尖耳或者软耳的子数据集发送到左右分支

然后我们覆盖右分支只看左分支，有五个样本假设我们的分裂标准是继续分裂，知道节点中的所有内容都是单一类别，即为全是猫或者狗，

我们会查看这个节点是否满足分裂标准，但是他不满足因为这里是猫狗的混合，

然后下一步继续选择一个特征进行分裂，因此我们依次查看每个特征，并计算这些特征的信息增益，就类似根节点那样当做一个新的根节点因此计算分裂胡须，还有脸型的信息增益，耳型的信息增益为0，因为耳型都一样是分裂之后的，所以我们在胡须和脸型中选然后我们基于信息增益选择了脸型，

然后看是否满足停止分裂的标准，这里全是猫因此创建一个叶子节点预测为猫