数据预处理

1.归一化/标准化

数据预处理-标准化/归一化

1.1 标准化目的

去除量纲限制
提升模型收敛速度
提升模型的精度

1.2 适用算法

SVM
Logistic Regression
SGD
Neural Network

1.3 不适用算法

Decision Tree
Random Forest
OLS

1.4 方法

Min-max
Z-score
线性函数标准化
小数定标标准化
log函数转换
atan函数转换

2. 缺失值

数据预处理-缺失值处理

2.1 缺失原因

信息无法获取/被遗漏
不重要/不可用/价格高
系统要求高

2.2 缺失类型

完全随机缺失
随机缺失
完全非随机缺失

2.3 处理方法

2.3.1 删除

直接删除

2.3.2 填补

2.3.2.1 替代

均值查补
同类均值插补
手动查补

2.3.2.2 拟合

建模预测
多重插补

2.3.2.3 高维映射

2.3.3 不处理

直接进入建模

3. 噪音数据处理

数据预处理-噪音处理

3.1 噪音原因

随机误差
人为误差

3.2 处理方法

分类
聚类
回归
人工检查