Scikit-learn 1.4 特征工程：3类编码方案与5个特征选择方法实战解析

Scikit-learn 1.4 特征工程实战：编码方案与特征选择方法深度解析

在机器学习项目中，数据预处理环节往往决定了模型性能的上限。特征工程作为其中的核心步骤，直接影响着模型对数据规律的捕捉能力。本文将聚焦Scikit-learn 1.4版本中的特征处理技术，通过对比三类编码方案与五种特征选择方法，构建完整的特征优化流程。

1. 特征编码：类别变量的数值化转换

当原始数据包含非数值型特征时，必须进行适当的编码转换才能输入算法。不同的编码方式会对模型产生截然不同的影响。

1.1 标签编码（Label Encoding）

最简单的编码方式是将类别映射为整数，适用于具有内在顺序的类别变量：

from sklearn.preprocessing import LabelEncoder categories = ['低', '中', '高'] encoder = LabelEncoder() encoded = encoder.fit_transform(categories) # 输出: array([0, 1, 2])

适用场景：

• 树模型（决策树、随机森林）
• 有序分类变量（如教育程度、产品等级）

潜在风险：

• 可能引入虚假的数值关系（如"高">"中">"低"）
• 线性模型会误判类别间的数学关系

1.2 独热编码（One-Hot Encoding）

为每个类别创建二元特征列，彻底消除虚假的数值关系：

from sklearn.preprocessing import OneHotEncoder import pandas as pd data = pd.DataFrame({'颜色': ['红', '蓝', '绿']}) encoder = OneHotEncoder(sparse_output=False) encoded = encoder.fit_transform(data[['颜色']]) # 输出: array([[1., 0., 0.], [0., 1., 0.], [0., 0., 1.]])

优化技巧：

• 使用drop='first'参数避免多重共线性
• 高基数特征考虑min_frequency参数过滤稀有类别
• 大数据集使用sparse_output=True节省内存

1.3 目标编码（Target Encoding）

利用目标变量的统计信息进行编码，特别适合分类任务：

from sklearn.preprocessing import TargetEncoder X = pd.DataFrame({'城市': ['北京', '上海', '北京', '广州']}) y = [1, 0, 1, 0] encoder = TargetEncoder() encoded = encoder.fit_transform(X['城市'], y) # 输出每个城市对应目标均值编码

注意事项：

• 必须使用交叉验证防止数据泄露
• 添加平滑参数(smoothing)防止过拟合
• 适用于树模型和线性模型

提示：Scikit-learn 1.4改进了TargetEncoder的实现，新增了cv参数自动处理数据泄露问题

2. 特征选择：筛选高价值特征

特征选择能提升模型性能、加速训练并增强可解释性。以下是五种经典方法的对比：

2.1 方差选择法实现

移除方差低于阈值的特征：

from sklearn.feature_selection import VarianceThreshold selector = VarianceThreshold(threshold=0.1) selected = selector.fit_transform(X)

2.2 基于模型的选择

使用L1正则化进行嵌入式特征选择：

from sklearn.linear_model import LogisticRegression from sklearn.feature_selection import SelectFromModel model = LogisticRegression(penalty='l1', solver='liblinear') selector = SelectFromModel(model, threshold='1.25*median') selector.fit(X, y)

2.3 递归特征消除示例

结合交叉验证的RFE实现：

from sklearn.feature_selection import RFECV from sklearn.ensemble import RandomForestClassifier estimator = RandomForestClassifier() selector = RFECV(estimator, step=1, cv=5) selector.fit(X, y) print(f"最优特征数: {selector.n_features_}")

3. 实战案例：电商用户购买预测

结合编码与特征选择的完整流程：

# 数据准备 df = pd.read_csv('ecommerce.csv') X = df.drop('purchased', axis=1) y = df['purchased'] # 1. 编码处理 cat_cols = ['city', 'device_type'] num_cols = ['age', 'visit_count'] # 对高基数特征使用目标编码 te = TargetEncoder(cols=['city']) X_encoded = te.fit_transform(X[cat_cols], y) # 对其他类别特征使用独热编码 ohe = OneHotEncoder(drop='first', sparse_output=False) X_ohe = ohe.fit_transform(X[['device_type']]) # 合并数值特征 X_processed = np.concatenate([X_encoded, X_ohe, X[num_cols]], axis=1) # 2. 特征选择 selector = SelectFromModel( LogisticRegression(penalty='l1', solver='liblinear'), max_features=10 ) X_selected = selector.fit_transform(X_processed, y) # 3. 模型训练 model = RandomForestClassifier() model.fit(X_selected, y)

4. 高级技巧与陷阱规避

特征组合策略：

• 对树模型：创建特征间的交互项（如乘积、比率）
• 对线性模型：使用多项式特征扩展

from sklearn.preprocessing import PolynomialFeatures poly = PolynomialFeatures(degree=2, interaction_only=True) X_poly = poly.fit_transform(X_selected)

常见问题解决方案：

1. 内存不足：

   • 使用scipy.sparse矩阵格式
   • 分批次处理特征

2. 类别不平衡：

   • 在目标编码中添加先验平滑
   • 使用分层抽样确保特征选择稳定性

3. 数据泄露：

   • 所有转换器应在交叉验证循环内部拟合
   • 使用Pipeline确保流程一致性

from sklearn.pipeline import Pipeline pipe = Pipeline([ ('encoder', TargetEncoder()), ('selector', SelectFromModel(LogisticRegression())), ('model', RandomForestClassifier()) ])

特征工程既是科学也是艺术，需要根据数据特性和业务场景灵活调整。Scikit-learn 1.4提供的工具链已经覆盖了大多数工业级应用需求，关键在于理解每种方法背后的统计假设和适用边界。在实际项目中，建议建立特征效果追踪机制，持续优化特征组合策略。