실루엣 방법을 이용한 클러스터링 분석

소개

클러스터링은 유사한 데이터 포인트를 특징에 기반하여 그룹화하는 인기 있는 비지도 학습 기법입니다. 실루엣 방법 (Silhouette Method) 은 데이터 세트에서 최적의 클러스터 수를 결정하는 데 일반적으로 사용되는 기법입니다. 이 실습에서는 KMeans 알고리즘을 사용하여 실루엣 방법을 통해 최적의 클러스터 수를 결정합니다.

VM 팁

VM 시작이 완료되면 왼쪽 상단 모서리를 클릭하여 Notebook 탭으로 전환하여 연습을 위한 Jupyter Notebook에 접근합니다.

때때로 Jupyter Notebook 이 완전히 로드되기까지 몇 초 정도 기다려야 할 수 있습니다. Jupyter Notebook 의 제한으로 인해 작업의 유효성 검사를 자동화할 수 없습니다.

학습 중 문제가 발생하면 Labby 에 문의하십시오. 세션 후 피드백을 제공하면 문제를 신속하게 해결해 드리겠습니다.

라이브러리 가져오기

분석을 수행하기 위해 필요한 라이브러리를 가져옵니다.

from sklearn.datasets import make_blobs
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_samples, silhouette_score
import matplotlib.pyplot as plt
import matplotlib.cm as cm
import numpy as np

데이터 생성

sklearn.datasets 라이브러리의 make_blobs 함수를 사용하여 샘플 데이터를 생성합니다. 이 함수는 클러스터링을 위해 등방성 가우시안 덩어리 (blob) 를 생성합니다.

X, y = make_blobs(
    n_samples=500,
    n_features=2,
    centers=4,
    cluster_std=1,
    center_box=(-10.0, 10.0),
    shuffle=True,
    random_state=1,
)  ## For reproducibility

최적 클러스터 개수 결정

KMeans 알고리즘에 대한 최적 클러스터 개수를 결정하기 위해 실루엣 방법을 사용합니다. n_clusters 값의 범위를 반복하여 각 값에 대한 실루엣 점수를 플롯합니다.

range_n_clusters = [2, 3, 4, 5, 6]

for n_clusters in range_n_clusters:
    ## 1 행 2 열의 서브플롯 생성
    fig, (ax1, ax2) = plt.subplots(1, 2)
    fig.set_size_inches(18, 7)

    ## 첫 번째 서브플롯은 실루엣 플롯
    ax1.set_xlim([-0.1, 1])
    ax1.set_ylim([0, len(X) + (n_clusters + 1) * 10])

    ## n_clusters 값과 재현성을 위해 10 의 랜덤 생성자 시드를 사용하여 클러스터러 초기화
    clusterer = KMeans(n_clusters=n_clusters, n_init="auto", random_state=10)
    cluster_labels = clusterer.fit_predict(X)

    ## silhouette_score 는 모든 샘플에 대한 평균 값을 제공합니다.
    silhouette_avg = silhouette_score(X, cluster_labels)

    ## 각 샘플에 대한 실루엣 점수 계산
    sample_silhouette_values = silhouette_samples(X, cluster_labels)

    y_lower = 10
    for i in range(n_clusters):
        ## 클러스터 i 에 속하는 샘플의 실루엣 점수를 집계하고 정렬
        ith_cluster_silhouette_values = sample_silhouette_values[cluster_labels == i]

        ith_cluster_silhouette_values.sort()

        size_cluster_i = ith_cluster_silhouette_values.shape[0]
        y_upper = y_lower + size_cluster_i

        color = cm.nipy_spectral(float(i) / n_clusters)
        ax1.fill_betweenx(
            np.arange(y_lower, y_upper),
            0,
            ith_cluster_silhouette_values,
            facecolor=color,
            edgecolor=color,
            alpha=0.7,
        )

        ## 중앙에 실루엣 플롯에 클러스터 번호 레이블 표시
        ax1.text(-0.05, y_lower + 0.5 * size_cluster_i, str(i))

        ## 다음 플롯을 위한 새로운 y_lower 계산
        y_lower = y_upper + 10  ## 0 샘플에 대한 10

    ax1.set_title("다양한 클러스터에 대한 실루엣 플롯.")
    ax1.set_xlabel("실루엣 계수 값")
    ax1.set_ylabel("클러스터 레이블")

    ## 모든 값의 평균 실루엣 점수에 대한 수직선
    ax1.axvline(x=silhouette_avg, color="red", linestyle="--")

    ax1.set_yticks([])  ## y 축 레이블/눈금 제거
    ax1.set_xticks([-0.1, 0, 0.2, 0.4, 0.6, 0.8, 1])

    ## 형성된 실제 클러스터를 보여주는 2 번째 플롯
    colors = cm.nipy_spectral(cluster_labels.astype(float) / n_clusters)
    ax2.scatter(
        X[:, 0], X[:, 1], marker=".", s=30, lw=0, alpha=0.7, c=colors, edgecolor="k"
    )

    ## 클러스터 레이블 표시
    centers = clusterer.cluster_centers_
    ## 클러스터 중심에 흰색 원 그리기
    ax2.scatter(
        centers[:, 0],
        centers[:, 1],
        marker="o",
        c="white",
        alpha=1,
        s=200,
        edgecolor="k",
    )

    for i, c in enumerate(centers):
        ax2.scatter(c[0], c[1], marker="$%d$" % i, alpha=1, s=50, edgecolor="k")

    ax2.set_title("클러스터된 데이터 시각화.")
    ax2.set_xlabel("첫 번째 특성에 대한 특성 공간")
    ax2.set_ylabel("두 번째 특성에 대한 특성 공간")

    plt.suptitle(
        "n_clusters = %d에 대한 샘플 데이터의 KMeans 클러스터링에 대한 실루엣 분석"
        % n_clusters,
        fontsize=14,
        fontweight="bold",
    )

plt.show()

결과 해석

실루엣 방법의 결과를 해석합니다. 각 n_clusters 값에 대한 평균 실루엣 점수를 살펴보고 가장 높은 점수를 제공하는 값을 선택합니다.

요약

이 실습에서는 실루엣 방법을 사용하여 KMeans 알고리즘에 대한 최적의 클러스터 개수를 결정했습니다. make_blobs 함수를 사용하여 샘플 데이터를 생성하고, n_clusters 값의 범위에 대한 실루엣 점수를 플롯했습니다. 결과를 해석하고 n_clusters에 대한 최적의 값을 선택했습니다.