在鸢尾花数据集上比较主成分分析（PCA）和线性判别分析（LDA）

简介

在本实验中，我们将比较两种流行的降维算法——主成分分析（PCA）和线性判别分析（LDA）——在鸢尾花数据集上的性能。鸢尾花数据集包含3种鸢尾花，具有4个属性：萼片长度、萼片宽度、花瓣长度和花瓣宽度。

虚拟机使用提示

虚拟机启动完成后，点击左上角切换到笔记本标签页，以访问Jupyter Notebook进行练习。

有时，你可能需要等待几秒钟让Jupyter Notebook完成加载。由于Jupyter Notebook的限制，操作验证无法自动化。

如果你在学习过程中遇到问题，随时向Labby提问。课程结束后提供反馈，我们会及时为你解决问题。

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL sklearn(("Sklearn")) -.-> sklearn/CoreModelsandAlgorithmsGroup(["Core Models and Algorithms"]) sklearn(("Sklearn")) -.-> sklearn/AdvancedDataAnalysisandDimensionalityReductionGroup(["Advanced Data Analysis and Dimensionality Reduction"]) ml(("Machine Learning")) -.-> ml/FrameworkandSoftwareGroup(["Framework and Software"]) sklearn/CoreModelsandAlgorithmsGroup -.-> sklearn/discriminant_analysis("Discriminant Analysis") sklearn/AdvancedDataAnalysisandDimensionalityReductionGroup -.-> sklearn/decomposition("Matrix Decomposition") ml/FrameworkandSoftwareGroup -.-> ml/sklearn("scikit-learn") subgraph Lab Skills sklearn/discriminant_analysis -.-> lab-49242{{"绘制主成分分析（PCA）与线性判别分析（LDA）对比图"}} sklearn/decomposition -.-> lab-49242{{"绘制主成分分析（PCA）与线性判别分析（LDA）对比图"}} ml/sklearn -.-> lab-49242{{"绘制主成分分析（PCA）与线性判别分析（LDA）对比图"}} end

加载数据集

首先，我们需要使用scikit-learn的内置函数load_iris()来加载鸢尾花数据集。

import matplotlib.pyplot as plt
from sklearn import datasets

iris = datasets.load_iris()

X = iris.data
y = iris.target
target_names = iris.target_names

执行主成分分析（PCA）

接下来，我们将对数据集执行主成分分析（PCA），以确定能够解释数据中最大方差的属性组合。我们将在前两个主成分上绘制不同的样本。

from sklearn.decomposition import PCA

pca = PCA(n_components=2)
X_r = pca.fit(X).transform(X)

## 每个成分解释的方差百分比
print("解释的方差比例（前两个成分）：%s" % str(pca.explained_variance_ratio_))

plt.figure()
colors = ["navy", "turquoise", "darkorange"]
lw = 2

for color, i, target_name in zip(colors, [0, 1, 2], target_names):
    plt.scatter(X_r[y == i, 0], X_r[y == i, 1], color=color, alpha=0.8, lw=lw, label=target_name)

plt.legend(loc="best", shadow=False, scatterpoints=1)
plt.title("鸢尾花数据集的PCA")
plt.show()

执行线性判别分析（LDA）

现在，我们将对数据集执行线性判别分析（LDA），以识别能够解释类别之间最大方差的属性。与主成分分析（PCA）不同，LDA是一种使用已知类别标签的监督方法。

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis

lda = LinearDiscriminantAnalysis(n_components=2)
X_r2 = lda.fit(X, y).transform(X)

plt.figure()
for color, i, target_name in zip(colors, [0, 1, 2], target_names):
    plt.scatter(X_r2[y == i, 0], X_r2[y == i, 1], alpha=0.8, color=color, label=target_name)

plt.legend(loc="best", shadow=False, scatterpoints=1)
plt.title("鸢尾花数据集的LDA")
plt.show()

比较结果

最后，我们将比较主成分分析（PCA）和线性判别分析（LDA）的结果。我们可以看到，在鸢尾花数据集中分离这三个类别时，线性判别分析（LDA）比主成分分析（PCA）表现得更好。

总结

在这个实验中，我们学习了如何使用scikit-learn对鸢尾花数据集执行主成分分析（PCA）和线性判别分析（LDA）。我们还比较了这两种降维算法的性能，发现在线性判别分析（LDA）在分离数据集中的不同类别方面比主成分分析（PCA）表现更好。