机器学习特征工程实战：从原理到风电预测案例
1. 特征工程的核心价值与工作流程
在机器学习项目中，数据科学家们常把80%的时间花在数据准备和特征工程上。这就像厨师做菜前的食材处理阶段——再好的厨艺，如果食材没处理好，最终菜品也会大打折扣。特征工程正是将原始数据转化为机器学习模型能够"消化吸收"的高质量特征的过程。
我经手过的风电预测项目中，原始SCADA数据包含大量噪声和缺失值。通过系统的特征工程处理，模型准确率提升了37%，这比换用更复杂的算法带来的提升要显著得多。特征工程之所以重要，是因为它直接决定了：
- 模型能够获取的信息质量
- 算法对数据规律的捕捉能力
- 最终业务指标的可实现上限
典型的特征工程工作流包含五个关键阶段：
- 数据理解与探索分析
- 缺失值与异常值处理
- 特征变换与构造
- 特征选择与降维
- 特征存储与监控
重要提示：特征工程不是一次性工作，而需要随着业务变化和数据分布漂移持续迭代。我在能源行业的一个项目就曾因为忽视特征监控，导致模型效果在三个月后显著下降。
2. 数据理解与探索分析
2.1 数据质量诊断
拿到原始数据后的第一步是进行全面"体检"。我习惯使用Python的Pandas Profiling生成自动化报告：
from pandas_profiling import ProfileReport profile = ProfileReport(df, title="数据质量报告") profile.to_file("report.html")这份报告会显示：
- 缺失值比例及分布
- 数值特征的统计描述（均值、分位数、偏度等）
- 类别特征的基数分布
- 特征间相关性热图
在金融风控项目中，我曾发现某个关键字段的缺失模式与欺诈行为高度相关，这直接引导我们创建了新的风险指标。
2.2 特征分布分析
不同分布的特征需要差异化的处理策略。常用可视化工具包括：
- 直方图（连续变量）
- 箱线图（离群值检测）
- Q-Q图（分布对比）
import seaborn as sns import matplotlib.pyplot as plt # 绘制特征分布矩阵 sns.pairplot(df[['age', 'income', 'spending']]) plt.savefig('feature_dist.png', dpi=300)对于风电数据，我发现功率输出特征存在明显的双峰分布，这对应了涡轮机的两种运行模式。如果不识别这种特性，直接标准化会导致信息损失。
3. 缺失值与异常值处理
3.1 智能填补缺失值
缺失值处理没有放之四海皆准的方法，需要根据数据特性选择：
| 填补方法 | 适用场景 | Python实现 |
|---|---|---|
| 中位数填补 | 存在离群值的数值特征 | df.fillna(df.median()) |
| 众数填补 | 低基数类别特征 | df.fillna(df.mode().iloc[0]) |
| 预测填补 | 高价值特征且缺失有规律 | from sklearn.impute import IterativeImputer |
| 标记填补 | 缺失本身包含信息 | df['missing_flag'] = df['feature'].isnull() |
在医疗数据项目中，我们发现某些检测值的缺失与患者病情相关，这时简单的均值填补反而会引入偏差。
3.2 异常值检测与处理
异常值可能是噪声也可能是重要信号。我常用的检测方法包括：
- IQR法（适用于中等维度数据）
- 隔离森林（高维数据）
- DBSCAN聚类（空间数据）
from sklearn.ensemble import IsolationForest clf = IsolationForest(contamination=0.05) outliers = clf.fit_predict(X) clean_data = X[outliers == 1]实践心得：在工业设备预测性维护中，异常值往往对应故障前兆。我们开发了双阈值策略——既过滤明显错误记录，又保留潜在异常模式。
4. 特征变换与构造
4.1 数值特征标准化
不同算法对特征尺度敏感度不同：
| 标准化方法 | 公式 | 适用场景 |
|---|---|---|
| Z-Score | (x - μ)/σ | 线性模型、NN |
| Min-Max | (x - min)/(max - min) | 距离度量算法 |
| Robust Scaling | (x - median)/IQR | 存在离群值 |
from sklearn.preprocessing import RobustScaler scaler = RobustScaler() X_scaled = scaler.fit_transform(X[['temp', 'pressure']])4.2 类别特征编码
根据特征基数和算法需求选择编码方式：
- One-Hot编码（低基数，<20个类别）
- Target Encoding（高基数类别）
- Embedding（深度学习场景）
# 目标编码示例 from category_encoders import TargetEncoder encoder = TargetEncoder() X['city_encoded'] = encoder.fit_transform(X['city'], y)在电商推荐系统中，我们为百万级商品ID开发了分层目标编码方案，既保留了类别信息又控制了维度爆炸。
4.3 时间特征分解
时间戳中常隐藏着重要模式：
df['hour'] = df['timestamp'].dt.hour df['day_of_week'] = df['timestamp'].dt.dayofweek df['is_weekend'] = df['day_of_week'] >= 5在交通预测项目中，我们发现将时间转换为周期性坐标（sin/cos变换）能显著提升模型对时间模式的捕捉能力。
4.4 交互特征构造
好的交互特征如同化学中的催化剂。常用构造方法：
- 四则运算特征（A+B, A/B等）
- 分组统计特征（用户历史平均消费）
- 业务特定组合（转化率=点击量/曝光量）
# 创建多项式特征 from sklearn.preprocessing import PolynomialFeatures poly = PolynomialFeatures(degree=2, interaction_only=True) X_poly = poly.fit_transform(X[['age', 'income']])5. 特征选择与降维
5.1 过滤式选择
基于统计指标快速筛选：
- 方差阈值（移除低方差特征）
- 卡方检验（分类任务）
- 互信息（非线性关系）
from sklearn.feature_selection import SelectKBest, mutual_info_classif selector = SelectKBest(mutual_info_classif, k=20) X_new = selector.fit_transform(X, y)5.2 嵌入式选择
利用模型自身进行特征选择：
- L1正则化（线性模型）
- 特征重要性（树模型）
- SHAP值（模型解释）
from sklearn.ensemble import RandomForestClassifier model = RandomForestClassifier() model.fit(X, y) importance = model.feature_importances_5.3 降维技术
当特征高度相关时，降维能提升模型效率：
- PCA（线性降维）
- t-SNE（可视化）
- UMAP（保留局部结构）
from umap import UMAP reducer = UMAP(n_components=10) X_embedded = reducer.fit_transform(X)在基因组数据分析中，UMAP帮助我们发现了传统方法未能识别的患者亚群。
6. 特征存储与监控
6.1 特征存储方案
生产环境需要考虑特征一致性：
| 存储方式 | 优点 | 缺点 |
|---|---|---|
| 特征仓库 | 版本控制，复用方便 | 架构复杂 |
| 数据库表 | 简单直接 | 难以追溯 |
| 实时计算 | 最新数据 | 计算开销大 |
我们开发的金融风控系统采用混合架构：
- 批量特征存入HBase
- 实时特征通过Flink计算
- 统一通过特征服务层访问
6.2 特征漂移监控
数据分布变化是模型衰退的主因。监控指标包括：
- 统计检验（KS检验）
- 特征重要性变化
- 预测结果分布变化
from scipy.stats import ks_2samp def monitor_drift(reference, current): alerts = [] for col in reference.columns: stat, p = ks_2samp(reference[col], current[col]) if p < 0.01: alerts.append(col) return alerts在广告CTR预测中，我们设置了自动化的特征漂移预警机制，当关键特征KS值>0.03时触发模型重训练。
7. 完整案例：风电功率预测特征工程
7.1 数据特性分析
某风电场SCADA数据包含：
- 环境数据（风速、温度、气压）
- 设备状态（桨距角、转速）
- 维护记录（故障代码）
通过探索分析发现：
- 风速与功率呈非线性关系（风机特性曲线）
- 某些传感器存在5%左右的缺失
- 不同涡轮机存在系统偏差
7.2 关键特征构造
- 物理公式特征：
df['wind_power'] = 0.5 * 1.225 * df['wind_speed']**3- 设备相对特征：
df['speed_diff'] = df['rotor_speed'] - df.groupby('turbine_id')['rotor_speed'].transform('median')- 时间窗口特征：
df['rolling_avg'] = df.groupby('turbine_id')['power'].rolling(6).mean().values7.3 效果验证
通过特征工程：
- 模型RMSE降低29%
- 极端功率预测准确率提升41%
- 模型训练时间减少35%（因去除冗余特征）
关键发现：构造的"风速变化趋势"特征（10分钟滑动窗口）对预测短期功率波动至关重要。