连接多种特征提取方法

简介

在本实验中，我们将学习如何使用 Python 的 scikit-learn 库连接多种特征提取方法。我们将使用 FeatureUnion 变换器来组合通过主成分分析（PCA）和单变量选择获得的特征。使用此变换器组合特征的好处是，它允许在整个过程中进行交叉验证和网格搜索。

虚拟机提示

虚拟机启动完成后，点击左上角切换到“笔记本”标签，以访问 Jupyter Notebook 进行练习。

有时，你可能需要等待几秒钟让 Jupyter Notebook 完成加载。由于 Jupyter Notebook 的限制，操作验证无法自动化。

如果你在学习过程中遇到问题，请随时向 Labby 提问。课程结束后提供反馈，我们将立即为你解决问题。

Skills Graph

导入库

我们将首先导入所需的库。我们将使用 scikit-learn 的 Pipeline（管道）、FeatureUnion（特征联合）、GridSearchCV（网格搜索交叉验证）、SVC（支持向量分类器）、load_iris（加载鸢尾花数据集）、PCA（主成分分析）和 SelectKBest（选择最佳的 K 个特征）类。

from sklearn.pipeline import Pipeline, FeatureUnion
from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC
from sklearn.datasets import load_iris
from sklearn.decomposition import PCA
from sklearn.feature_selection import SelectKBest

加载数据集

接下来，我们将使用 load_iris 函数加载鸢尾花数据集。

iris = load_iris()

X, y = iris.data, iris.target

特征提取

由于鸢尾花数据集是高维的，我们将使用主成分分析（PCA）和单变量选择来进行特征提取。

主成分分析（PCA）

我们将使用主成分分析（PCA）来降低数据集的维度。

pca = PCA(n_components=2)

单变量选择

我们将使用单变量选择来挑选出最显著的特征。

selection = SelectKBest(k=1)

组合特征

我们将使用 FeatureUnion 变换器来组合从主成分分析（PCA）和单变量选择中获得的特征。

combined_features = FeatureUnion([("pca", pca), ("univ_select", selection)])

转换后的数据集

我们将使用组合特征来转换数据集。

X_features = combined_features.fit(X, y).transform(X)
print("Combined space has", X_features.shape[1], "features")

模型训练

我们将使用转换后的数据集训练一个支持向量机（SVM）模型。

svm = SVC(kernel="linear")

网格搜索

我们将使用 GridSearchCV 对管道的超参数进行网格搜索。

pipeline = Pipeline([("features", combined_features), ("svm", svm)])

param_grid = dict(
    features__pca__n_components=[1, 2, 3],
    features__univ_select__k=[1, 2],
    svm__C=[0.1, 1, 10],
)

grid_search = GridSearchCV(pipeline, param_grid=param_grid, verbose=10)
grid_search.fit(X, y)
print(grid_search.best_estimator_)

总结

在本实验中，我们学习了如何使用 Python 的 scikit-learn 库来连接多种特征提取方法。我们使用 FeatureUnion 变换器来组合通过主成分分析（PCA）和单变量选择获得的特征。我们还训练了一个支持向量机（SVM）模型，并对管道的超参数进行了网格搜索。