工业数据预处理标准化流程与最佳实践
工业数据预处理标准化流程与最佳实践
工业数据常见问题
工业数据通常面临缺失值、异常值、多尺度（量纲差异）三大挑战。传感器故障导致数据缺失，设备异常或传输错误引入离群点，不同物理量（如温度、压力、电压）的单位差异直接影响模型收敛性。
缺失值处理
KNN插补：基于相邻样本的相似性填充缺失值，适合非时间序列数据。公式为加权平均值：
x^i=∑j=1kwjxj∑j=1kwj\hat{x}_i = \frac{\sum_{j=1}^k w_j x_j}{\sum_{j=1}^k w_j}x^i=∑j=1kwj∑j=1kwjxj
其中权重wjw_jwj为样本间距离的倒数。
时间序列插补：使用线性插值或前向填充（pandas.DataFrame.ffill()），保持时序连续性。
# KNN插补示例（Scikit-learn）fromsklearn.imputeimportKNNImputer imputer=KNNImputer(n_neighbors=3)data_imputed=imputer.fit_transform(data)异常值检测
IQR方法：定义异常值为超出[Q1−1.5×IQR, Q3+1.5×IQR][Q1 - 1.5 \times IQR,\ Q3 + 1.5 \times IQR][Q1−1.5×IQR,Q3+1.5×IQR]范围的数据，其中IQR=Q3−Q1IQR = Q3 - Q1IQR=Q3−Q1。
Z-score法：标准化后绝对值大于3的样本视为异常：
z=x−μσz = \frac{x - \mu}{\sigma}z=σx−μ
# Z-score异常检测fromscipy.statsimportzscore z_scores=zscore(data)outliers=(np.abs(z_scores)>3)数据标准化
Z-score标准化（适用于高斯分布）：
xstandard=x−μσx_{\text{standard}} = \frac{x - \mu}{\sigma}xstandard=σx−μ
Min-Max标准化（将数据缩放到[0,1]）：
xscaled=x−xminxmax−xminx_{\text{scaled}} = \frac{x - x_{\min}}{x_{\max} - x_{\min}}xscaled=xmax−xminx−xmin
# Min-Max标准化（Scikit-learn）fromsklearn.preprocessingimportMinMaxScaler scaler=MinMaxScaler()data_scaled=scaler.fit_transform(data)自动化预处理流水线
使用Scikit-learn的Pipeline封装步骤，确保训练与测试数据一致处理：
fromsklearn.pipelineimportPipelinefromsklearn.preprocessingimportStandardScaler pipeline=Pipeline([('imputer',KNNImputer()),('scaler',StandardScaler())])data_processed=pipeline.fit_transform(raw_data)方法选择对建模的影响
- 缺失值处理：KNN插补保留局部结构但计算量大，时序插补适合传感器数据。
- 异常值处理：IQR对非高斯分布更鲁棒，Z-score需假设正态性。
- 标准化：Z-score适用于线性模型（如SVM、回归），Min-Max对神经网络更友好。
数据分布可视化
预处理前后对比可通过直方图或箱线图展示：
- 原始数据：右偏分布，存在明显离群点（箱线图尾部延伸）。
- 处理后数据：分布中心化，尺度统一（直方图集中在0附近）。
通过自动化流水线实现高效预处理，显著提升工业场景下模型的稳定性和准确性。