Scikit - Learn を使った階層的クラスタリング

はじめに

この実験では、Python の scikit - learn ライブラリを使って、いくつかの単純なデータセットに対して階層的クラスタリングを行います。階層的クラスタリングは、クラスタの階層を上から下または下から上のどちらかの方法で構築するクラスタリングの手法です。階層的クラスタリングの目的は、互いに似ており、他のクラスタの点とは異なる点のクラスタを見つけることです。

VM のヒント

VM の起動が完了したら、左上隅をクリックしてノートブックタブに切り替え、Jupyter Notebook を使って練習しましょう。

時々、Jupyter Notebook が読み込み終わるまで数秒待つ必要がある場合があります。Jupyter Notebook の制限により、操作の検証を自動化することはできません。

学習中に問題に遭遇した場合は、Labby にお問い合わせください。セッション後にフィードバックを提供してください。すぐに問題を解決いたします。

ライブラリのインポートとデータの読み込み

必要なライブラリをインポートし、階層的クラスタリングの例に使用する単純なデータセットを読み込んで始めましょう。

import time
import warnings

import numpy as np
import matplotlib.pyplot as plt

from sklearn import cluster, datasets
from sklearn.preprocessing import StandardScaler
from itertools import cycle, islice

np.random.seed(0)

## %%
## データセットを生成します。アルゴリズムの拡張性を確認するには十分なサイズを選びますが、
## 実行時間が長くなりすぎないようにあまり大きくしません。

n_samples = 1500
noisy_circles = datasets.make_circles(n_samples=n_samples, factor=0.5, noise=0.05)
noisy_moons = datasets.make_moons(n_samples=n_samples, noise=0.05)
blobs = datasets.make_blobs(n_samples=n_samples, random_state=8)
no_structure = np.random.rand(n_samples, 2), None

## 異方性に分布するデータ
random_state = 170
X, y = datasets.make_blobs(n_samples=n_samples, random_state=random_state)
transformation = [[0.6, -0.6], [-0.4, 0.8]]
X_aniso = np.dot(X, transformation)
aniso = (X_aniso, y)

## 分散の異なるブロブ
varied = datasets.make_blobs(
    n_samples=n_samples, cluster_std=[1.0, 2.5, 0.5], random_state=random_state
)

階層的クラスタリングを実行する

ここでは、ステップ 1 で読み込んだ単純なデータセットに対して階層的クラスタリングを実行します。クラスタを構築するために、シングル、平均、完全、およびワードなどのさまざまなリンク方法を使用します。

## Set up cluster parameters
plt.figure(figsize=(9 * 1.3 + 2, 14.5))
plt.subplots_adjust(
    left=0.02, right=0.98, bottom=0.001, top=0.96, wspace=0.05, hspace=0.01
)

plot_num = 1

default_base = {"n_neighbors": 10, "n_clusters": 3}

datasets = [
    (noisy_circles, {"n_clusters": 2}),
    (noisy_moons, {"n_clusters": 2}),
    (varied, {"n_neighbors": 2}),
    (aniso, {"n_neighbors": 2}),
    (blobs, {}),
    (no_structure, {}),
]

for i_dataset, (dataset, algo_params) in enumerate(datasets):
    ## update parameters with dataset-specific values
    params = default_base.copy()
    params.update(algo_params)

    X, y = dataset

    ## normalize dataset for easier parameter selection
    X = StandardScaler().fit_transform(X)

    ## ============
    ## Create cluster objects
    ## ============
    ward = cluster.AgglomerativeClustering(
        n_clusters=params["n_clusters"], linkage="ward"
    )
    complete = cluster.AgglomerativeClustering(
        n_clusters=params["n_clusters"], linkage="complete"
    )
    average = cluster.AgglomerativeClustering(
        n_clusters=params["n_clusters"], linkage="average"
    )
    single = cluster.AgglomerativeClustering(
        n_clusters=params["n_clusters"], linkage="single"
    )

    clustering_algorithms = (
        ("Single Linkage", single),
        ("Average Linkage", average),
        ("Complete Linkage", complete),
        ("Ward Linkage", ward),
    )

    for name, algorithm in clustering_algorithms:
        t0 = time.time()

        ## catch warnings related to kneighbors_graph
        with warnings.catch_warnings():
            warnings.filterwarnings(
                "ignore",
                message="the number of connected components of the "
                + "connectivity matrix is [0-9]{1,2}"
                + " > 1. Completing it to avoid stopping the tree early.",
                category=UserWarning,
            )
            algorithm.fit(X)

        t1 = time.time()
        if hasattr(algorithm, "labels_"):
            y_pred = algorithm.labels_.astype(int)
        else:
            y_pred = algorithm.predict(X)

        plt.subplot(len(datasets), len(clustering_algorithms), plot_num)
        if i_dataset == 0:
            plt.title(name, size=18)

        colors = np.array(
            list(
                islice(
                    cycle(
                        [
                            "#377eb8",
                            "#ff7f00",
                            "#4daf4a",
                            "#f781bf",
                            "#a65628",
                            "#984ea3",
                            "#999999",
                            "#e41a1c",
                            "#dede00",
                        ]
                    ),
                    int(max(y_pred) + 1),
                )
            )
        )
        plt.scatter(X[:, 0], X[:, 1], s=10, color=colors[y_pred])

        plt.xlim(-2.5, 2.5)
        plt.ylim(-2.5, 2.5)
        plt.xticks(())
        plt.yticks(())
        plt.text(
            0.99,
            0.01,
            ("%.2fs" % (t1 - t0)).lstrip("0"),
            transform=plt.gca().transAxes,
            size=15,
            horizontalalignment="right",
        )
        plot_num += 1

plt.show()

結果を分析する

ここでは、階層的クラスタリングの結果を分析します。使用した単純なデータセットに基づいて、以下のような観察結果を得ることができます。

• シングルリンクは高速で、非球状データに対しては良好な性能を発揮しますが、ノイズの存在下では性能が低下します。
• 平均リンクと完全リンクは、きれいに分離された球状クラスタに対して良好な性能を示しますが、それ以外の場合には結果が混ざります。
• ワードは、ノイズのあるデータに対して最も有効な方法です。

これらの観察結果は、アルゴリズムに関する直感を与えてくれますが、この直感は非常に高次元のデータには当てはまらない場合があることに注意することが重要です。

まとめ

この実験では、Python の scikit - learn ライブラリを使って階層的クラスタリングを行う方法を学びました。クラスタを構築するために、シングル、平均、完全、およびワードなどのさまざまなリンク方法を使用し、いくつかの単純なデータセットに基づいて結果を分析しました。階層的クラスタリングは、類似するデータポイントのクラスタを識別するために使用できる強力な手法であり、生物学、マーケティング、金融などのさまざまな分野で役立ちます。