DAY27 pipeline管道

一、知识回顾：

1、转化器和估计器的概念

（1）转换器

转化器通俗的来说就是对数据进行预处理的工具，转换器的特点是无状态的，即它们不会存储任何关于数据的状态信息（指的是不存储内参），根据输入数据学习转换规则（比如函数规律、外参），并将其应用于新的数据。

代码示例：

from sklearn.preprocessing import StandardScaler # 初始化转换器 scaler = StandardScaler() # 1. 学习训练数据的缩放规则（计算均值和标准差）,本身不存储数据 scaler.fit(X_train) # 2. 应用规则到训练数据和测试数据 X_train_scaled = scaler.transform(X_train)

（2）估计器

估计器是实现机器学习算法的对象或类。估计器的主要方法是fit和predict。fit方法用于根据输入数据，学习模型的参数和规律，而predict方法用于对新的未标记样本进行预测。估计器的特点是有状态的，它们在训练过程中存储了关于数据的状态信息，以便在预测阶段使用。

参考代码：

from sklearn.linear_model import LinearRegression # 创建一个回归器 model = LinearRegression() # 在训练集上训练模型 model.fit(X_train_scaled, y_train) # 对测试集进行预测 y_pred = model.predict(X_test_scaled)

2、管道工程

机器学习的管道机制通过将多个转换器和估计器按顺序连接在一起，可以构建一个完整的数据处理和模型训练流程。具体而言，在管道机制中，可以使用Pipeline类来组织和连接不同的转换器和估计器。Pipeline类提供了一种简单的方式来定义和管理机器学习任务的流程。

二、pipeline管道架构的搭建

1、导入基础库、 Pipeline 和相关预处理工具、机器学习模型和评估工具，并加载原始数据。

2、分离特征和标签，划分数据集

3、定义预处理步骤

（1）识别原始的 object 列

非数值型->离散变量：

（2）构建处理有序特征的 Pipeline:先填充缺失值，再进行有序编码

（3）构建处理标称特征的 Pipeline:先填充缺失值，再进行独热编码

连续性数值

（4）直接从所有列中排除已知的有序和标称特征，构建处理连续特征的 Pipeline: 先填充缺失值，再进行标准化。

（5）基于以上形成的三种Pipeline构建 ColumnTransformer，将不同的预处理应用于不同的列子集，构造一个完备的转化器。

（6）构建完整的 Pipeline，将预处理器和模型串联起来（加入估计器）

（7）使用 Pipeline 对模型进行训练和评估。

@浙大疏锦行