当前位置：首页 > news >正文

探索随机森林：降维、特征选择与重要性排序

news 2026/3/26 23:05:13

随机森林降维特征选择重要性排序

在数据科学的领域中，处理高维度数据是常有的挑战。过多的特征不仅会增加计算成本，还可能引入噪声，影响模型的准确性。随机森林作为一种强大的机器学习算法，在降维、特征选择以及重要性排序方面有着独特的优势。

随机森林基础

随机森林是由多个决策树组成的集成学习模型。每棵决策树在构建时，从原始数据集中有放回地随机抽取样本（这称为自助采样法，bootstrap sampling），同时在每个节点分裂时，从所有特征中随机选择一部分特征来寻找最佳分裂点。这种随机性使得每棵树之间具有一定的差异性，最终通过投票（分类任务）或平均（回归任务）的方式综合所有树的结果，提升模型的泛化能力。

下面是一个简单的使用Python和Scikit-learn库创建随机森林分类器的代码示例：

from sklearn.ensemble import RandomForestClassifier from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split # 加载鸢尾花数据集 iris = load_iris() X = iris.data y = iris.target # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 创建随机森林分类器 rf = RandomForestClassifier(n_estimators=100, random_state=42) rf.fit(X_train, y_train) # 预测并评估模型 accuracy = rf.score(X_test, y_test) print(f"模型准确率: {accuracy}")

在这段代码中，我们首先加载了鸢尾花数据集，然后将其划分为训练集和测试集。接着创建了一个包含100棵决策树的随机森林分类器，并使用训练数据进行拟合。最后，通过在测试集上的预测来评估模型的准确率。

随机森林与特征重要性排序

随机森林可以很方便地为我们提供每个特征的重要性得分。其原理基于在每棵决策树中，某个特征对降低节点不纯度（如基尼不纯度或信息增益）的贡献。一个特征在所有决策树中对不纯度降低的平均贡献越大，说明该特征越重要。

随机森林降维特征选择重要性排序

我们可以通过featureimportances属性获取特征重要性得分，继续上面的代码：

importances = rf.feature_importances_ feature_names = iris.feature_names # 将特征重要性和特征名组合 importance_dict = dict(zip(feature_names, importances)) sorted_importances = sorted(importance_dict.items(), key=lambda item: item[1], reverse=True) for feature, importance in sorted_importances: print(f"{feature}: {importance}")

运行这段代码，你会看到每个特征的重要性得分按从高到低的顺序输出。例如，在鸢尾花数据集中，可能会发现“花瓣长度”和“花瓣宽度”的重要性得分较高，这意味着这两个特征对于区分不同种类的鸢尾花起到了关键作用。

基于随机森林的特征选择

有了特征重要性得分，我们就可以进行特征选择。一种简单的方法是设定一个阈值，只保留重要性得分高于该阈值的特征。

# 设定阈值为0.2 selected_features = [feature for feature, importance in sorted_importances if importance > 0.2] selected_X_train = X_train[:, [list(feature_names).index(feature) for feature in selected_features]] selected_X_test = X_test[:, [list(feature_names).index(feature) for feature in selected_features]] # 使用选择后的特征重新训练随机森林模型 new_rf = RandomForestClassifier(n_estimators=100, random_state=42) new_rf.fit(selected_X_train, y_train) new_accuracy = new_rf.score(selected_X_test, y_test) print(f"使用选择特征后的模型准确率: {new_accuracy}")

在这段代码中，我们首先根据阈值选择了重要的特征，然后从原始训练集和测试集中提取这些特征的数据，再用这些选择后的特征重新训练一个随机森林模型，并评估其准确率。你会发现，在某些情况下，虽然减少了特征数量，但模型的准确率可能并不会下降，甚至有所提升，这就是特征选择的魅力所在。