当前位置：首页 > news >正文

机器学习数据准备全流程：从清洗到特征工程

news 2026/4/25 9:48:51

1. 机器学习数据准备的重要性

在机器学习项目中，数据准备往往占据了整个流程70%以上的时间和精力。作为从业多年的数据科学家，我见过太多项目因为数据准备不当而导致模型效果不佳甚至完全失败的情况。数据就像建筑的地基，地基不牢，再漂亮的模型架构也会轰然倒塌。

数据准备的核心目标可以概括为三点：

确保数据质量：消除噪声、填补缺失、纠正错误
优化数据表达：使数据特征更易于被模型理解和学习
适配算法需求：满足特定算法对数据格式和分布的要求

重要提示：数据准备不是一次性工作，而是需要与模型开发形成闭环迭代的过程。通常我们会先进行基础数据准备，然后建模评估，再根据模型表现反过来优化数据准备策略。

2. 数据选择策略

2.1 数据源评估

在开始任何技术工作前，我们需要先回答几个关键问题：

现有数据覆盖了哪些维度和时间范围？
数据采集方式是否科学可靠？
是否存在已知的数据质量问题？

以电商推荐系统为例，我们可能拥有：

用户行为日志（点击、浏览、购买）
商品属性数据
用户画像数据
第三方数据（如社交网络信息）

2.2 数据需求分析

根据业务问题逆向推导所需数据：

明确预测目标（如用户购买概率）
确定影响目标的关键因素（如历史行为、商品特征）
评估现有数据能否支持这些因素的分析

实际操作中我常用数据需求矩阵来梳理：

需求特征	数据来源	可用性	质量评估
用户购买偏好	交易记录	高	完整准确
用户兴趣变化	行为时序数据	中	存在缺失
商品关联性	共现数据	低	需要清洗

2.3 数据采样技术

当数据量过大时，合理的采样策略能显著提高开发效率：

随机采样：基础方法，适合均匀分布的数据
分层采样：确保关键子群体的代表性
时间窗口采样：针对时序数据保留时间特性

实战经验：在采样时务必保留原始数据的分布特性。我曾遇到一个案例，随机采样后少数类样本比例从5%降到0.1%，导致模型完全无法识别该类。

3. 数据预处理实战

3.1 数据清洗关键步骤

数据清洗是预处理中最耗时的环节，主要包括：

缺失值处理：
- 删除：当缺失比例<5%且随机缺失时适用
- 填补：均值/中位数（数值型）、众数（类别型）、模型预测（复杂场景）
- 标记：添加缺失指示变量
异常值检测：
- 统计方法：3σ原则、IQR方法
- 可视化方法：箱线图、散点图
- 业务规则：如年龄>150岁视为异常
格式标准化：
- 日期时间统一格式
- 文本编码统一（如UTF-8）
- 单位统一（如全部转换为国际单位）

3.2 特征工程基础

特征工程是提升模型性能的关键，常用技术包括：

分箱处理：将连续变量离散化

# 等宽分箱示例 df['age_bin'] = pd.cut(df['age'], bins=5) # 等频分箱示例 df['income_bin'] = pd.qcut(df['income'], q=4)

特征交叉：创造更有意义的组合特征

# 交互特征示例 df['price_per_click'] = df['total_spend'] / df['click_count']

时间特征提取：

df['purchase_hour'] = df['purchase_time'].dt.hour df['is_weekend'] = df['purchase_time'].dt.weekday >= 5

3.3 数据编码方法

不同数据类型需要不同的编码策略：

数据类型	编码方法	适用场景	注意事项
类别型	One-Hot	类别无大小关系	维度爆炸问题
有序类别	Ordinal	类别有明确顺序	保持顺序一致性
数值型	标准化	基于距离的算法	保留原始分布
文本型	TF-IDF	NLP任务	需要停用词处理

4. 数据变换技术

4.1 特征缩放方法

不同算法对特征尺度的敏感性不同：

标准化（Z-score）：

from sklearn.preprocessing import StandardScaler scaler = StandardScaler() X_scaled = scaler.fit_transform(X)

归一化（Min-Max）：

from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler(feature_range=(0, 1)) X_normalized = scaler.fit_transform(X)

鲁棒缩放：适用于存在异常值的情况

from sklearn.preprocessing import RobustScaler scaler = RobustScaler() X_robust = scaler.fit_transform(X)

4.2 降维技术

当特征维度很高时，降维可以提高效率和性能：

PCA（主成分分析）：

from sklearn.decomposition import PCA pca = PCA(n_components=0.95) # 保留95%方差 X_pca = pca.fit_transform(X)

t-SNE：适合可视化高维数据

from sklearn.manifold import TSNE tsne = TSNE(n_components=2) X_tsne = tsne.fit_transform(X)

避坑指南：降维后的特征通常失去了可解释性。如果业务需要理解特征重要性，建议先使用特征选择方法而非降维。

4.3 处理类别不平衡

常见解决方法对比：

方法	原理	优点	缺点
过采样	增加少数类样本	保留所有信息	可能过拟合
欠采样	减少多数类样本	训练更快	丢失信息
SMOTE	合成少数类样本	创造新样本	可能生成噪声
类别权重	调整损失函数	不改变数据分布	需要算法支持

5. 构建可复用的数据流水线

5.1 使用sklearn Pipeline

将预处理步骤封装成可复用的流水线：

from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer from sklearn.preprocessing import StandardScaler, OneHotEncoder numeric_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='median')), ('scaler', StandardScaler())]) categorical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='constant', fill_value='missing')), ('onehot', OneHotEncoder(handle_unknown='ignore'))]) preprocessor = ColumnTransformer( transformers=[ ('num', numeric_transformer, numeric_features), ('cat', categorical_transformer, categorical_features)])

5.2 自动化特征工程工具

现代工具可以简化特征工程过程：

Featuretools：自动化特征生成

import featuretools as ft es = ft.EntitySet(id='data') es = es.entity_from_dataframe(entity_id='observations', dataframe=df, index='id') feature_matrix, features = ft.dfs(entityset=es, target_entity='observations', max_depth=2)

TSFresh：时序特征自动提取

from tsfresh import extract_features extracted_features = extract_features(df, column_id="id", column_sort="time")

5.3 数据版本控制

使用DVC等工具管理数据版本：

# 初始化DVC dvc init # 添加数据文件 dvc add data/raw_dataset.csv # 创建数据处理阶段 dvc run -n prepare \ -d src/prepare.py -d data/raw_dataset.csv \ -o data/prepared_dataset.csv \ python src/prepare.py data/raw_dataset.csv