当前位置：首页 > news >正文

【Python机器学习系列】一文带你了解机器学习中的Pipeline管道机制（理论+源码）

news 2025/9/14 19:28:06

这是Python机器学习原创文章，我的第183篇原创文章。

一、引言

对于表格数据，一套完整的机器学习建模流程如下：

背景知识1：机器学习中的学习器

【Python机器学习系列】一文搞懂机器学习中的转换器和估计器（附案例）

背景知识2：机器学习中的管道机制

简介：

转换器用于数据的预处理和特征工程，它们无状态且只学习转换规则。而估计器用于模型的训练和预测，它们有状态且学习训练数据中的模式和规律。转换器和估计器在机器学习中扮演不同的角色，但它们通常可以结合在一起构建一个完整的机器学习流程。

机器学习的管道（Pipeline）机制通过将多个转换器和估计器按顺序连接在一起，可以构建一个完整的数据处理和模型训练流程。在管道机制中，可以使用Pipeline类来组织和连接不同的转换器和估计器。Pipeline类提供了一种简单的方式来定义和管理机器学习任务的流程。

好处：

1.管道机制是按照封装顺序依次执行的一种机制，在机器学习算法中得以应用的根源在于，参数集在新数据集（比如测试集）上的重复使用。

2.可以结合grid search对参数进行选择。

二、实现过程

导入第三方库

import pandas as pd
from sklearn.pipeline import Pipeline #管道机制
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import train_test_split #分训练和测试集
#导入“流水线”各个模块（标准化，降维，分类）
from  sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.svm import SVC
from sklearn.model_selection import GridSearchCV

准备数据

data = pd.read_csv(r'Dataset.csv')
df = pd.DataFrame(data)
target = 'target'
features = df.columns.drop(target)
X_train, X_test, y_train, y_test = train_test_split(df[features], df[target], test_size=0.2, random_state=0)

2.1 建立管道进行分类预测

steps为Pipeline类最关键的参数，sklearn规定它是一个[( ),( )]类型，列表里面是一个个元组，分别为名字和工序，从左到右是流水线上的先后顺序。Pipleline中最后一个之外的所有estimators都必须是变换器（transformers），最后一个estimator可以是任意类型（transformer，classifier，regresser）,如果最后一个estimator是个分类器，则整个pipeline就可以作为分类器使用，如果最后一个estimator是个聚类器，则整个pipeline就可以作为聚类器使用。如果你不想为每一个步骤提供用户指定的名称，这种情况下，就可以用make_pipeline函数创建管道，它可以为我们创建管道并根据每个步骤所属的类为其自动命名。

# pipe=Pipeline(steps=[('standardScaler',StandardScaler()), ('pca', PCA()), ('svc',SVC())])
pipe=make_pipeline(StandardScaler(),PCA(),SVC())
pipe.predict(X_test) #预测结果
print('Test accuracy: %.3f' % pipe.score(X_test, y_test))#输出精度

输出：

2.2 管道流水线+网格搜索参数

在机器学习中，超参数是模型的配置参数，需要在训练之前设置，并且不能通过模型的学习过程来自动调整。超参数的选择对于模型的性能和泛化能力非常重要，因此需要通过实验来确定最佳的超参数组合。GridSearchCV是scikit-learn库中的一个类，用于进行网格搜索（Grid Search）和交叉验证（Cross-Validation）来选择模型的最佳超参数。使用GridSearchCV时，需要提供一个估计器（Estimator）对象、超参数的候选值列表和评估指标（如准确率、均方误差等）。GridSearchCV将对所有超参数组合进行交叉验证，并返回具有最佳性能的超参数组合及其对应的模型。

pipeline=Pipeline([('scaler',StandardScaler()),('pca',PCA()),('svm',SVC())])
param_grid={'svm__C':[0.001,0.01,0.1,1,10,100],'svm__gamma':[0.001,0.01,0.1,1,10,100]}# 定义网格搜索参数，用<estimator>__<parameter>形式设置参数
grid=GridSearchCV(pipeline,param_grid,cv=5, scoring='accuracy')# 网格搜索模型实例化
grid.fit(X_train,y_train)
grid.predict(X_test)
print('Test accuracy: %.3f' % grid.score(X_test, y_test))#输出精度

输出：