数字数据集上的凝聚聚类

简介

本实验展示了在数字数据集的二维嵌入上进行凝聚聚类的各种链接选项。本实验的目的是展示不同的链接策略如何表现，而不是为数字找到好的聚类。这就是为什么示例在二维嵌入上运行。

虚拟机提示

虚拟机启动完成后，点击左上角切换到“笔记本”标签，以访问 Jupyter Notebook 进行练习。

有时，你可能需要等待几秒钟让 Jupyter Notebook 完成加载。由于 Jupyter Notebook 的限制，操作验证无法自动化。

如果你在学习过程中遇到问题，请随时向 Labby 提问。课程结束后提供反馈，我们将立即为你解决问题。

导入库

我们首先导入本实验所需的库。我们将使用 numpy、matplotlib、manifold 以及 scikit-learn 中的 datasets 来执行凝聚聚类。

import numpy as np
from matplotlib import pyplot as plt
from time import time
from sklearn import manifold, datasets
from sklearn.cluster import AgglomerativeClustering

加载并准备数据集

我们加载数字数据集，并通过提取数据和目标标签来为聚类做准备。我们还将随机种子设为零以确保可重复性。

digits = datasets.load_digits()
X, y = digits.data, digits.target
n_samples, n_features = X.shape
np.random.seed(0)

可视化数据集

我们通过使用 manifold.SpectralEmbedding() 计算数字数据集的二维嵌入，并为每个数字绘制带有不同标记的散点图，来可视化数据集。

def plot_dataset(X_red):
    x_min, x_max = np.min(X_red, axis=0), np.max(X_red, axis=0)
    X_red = (X_red - x_min) / (x_max - x_min)

    plt.figure(figsize=(6, 4))
    for digit in digits.target_names:
        plt.scatter(
            *X_red[y == digit].T,
            marker=f"${digit}$",
            s=50,
            alpha=0.5,
        )

    plt.xticks([])
    plt.yticks([])
    plt.title('Digits Dataset Scatter Plot', size=17)
    plt.axis("off")
    plt.tight_layout(rect=[0, 0.03, 1, 0.95])

print("Computing embedding")
X_red = manifold.SpectralEmbedding(n_components=2).fit_transform(X)
print("Done.")
plot_dataset(X_red)

使用不同链接策略的凝聚聚类

我们使用不同的链接策略进行凝聚聚类：ward、average、complete 和 single。对于所有策略，我们将聚类数设置为 10。然后，我们使用不同颜色表示每个数字来绘制聚类结果。

def plot_clustering(X_red, labels, title=None):
    x_min, x_max = np.min(X_red, axis=0), np.max(X_red, axis=0)
    X_red = (X_red - x_min) / (x_max - x_min)

    plt.figure(figsize=(6, 4))
    for digit in digits.target_names:
        plt.scatter(
            *X_red[y == digit].T,
            marker=f"${digit}$",
            s=50,
            c=plt.cm.nipy_spectral(labels[y == digit] / 10),
            alpha=0.5,
        )

    plt.xticks([])
    plt.yticks([])
    if title is not None:
        plt.title(title, size=17)
    plt.axis("off")
    plt.tight_layout(rect=[0, 0.03, 1, 0.95])

for linkage in ("ward", "average", "complete", "single"):
    clustering = AgglomerativeClustering(linkage=linkage, n_clusters=10)
    t0 = time()
    clustering.fit(X_red)
    print("%s :\t%.2fs" % (linkage, time() - t0))

    plot_clustering(X_red, clustering.labels_, "%s linkage" % linkage)

plt.show()

总结

在本实验中，我们学习了如何使用不同的链接策略对数字数据集执行凝聚聚类。我们还对每个策略的数据集和聚类结果进行了可视化。结果表明，不同的链接策略会产生不同的聚类结果，我们应该选择最适合我们需求的策略。