이 실습에서는 Python 의 scikit-learn 라이브러리를 사용하여 K-Means 군집화 알고리즘을 탐색합니다. 이 실습에서는 8x8 이미지의 숫자를 나타내는 64 개의 특징을 포함하는 손글씨 숫자 데이터셋을 사용하고, 이미지를 숫자가 나타내는 숫자에 따라 그룹화하려고 합니다. K-Means 의 서로 다른 초기화 방법을 비교하고 다양한 지표를 사용하여 군집화 성능을 평가할 것입니다.
VM 시작이 완료되면 왼쪽 상단 모서리를 클릭하여 Notebook 탭으로 전환하여 연습을 위한 Jupyter Notebook에 접근합니다.
때때로 Jupyter Notebook 이 완전히 로드되기까지 몇 초 정도 기다려야 할 수 있습니다. Jupyter Notebook 의 제한으로 인해 작업의 유효성 검사를 자동화할 수 없습니다.
학습 중 문제가 발생하면 Labby 에게 문의하십시오. 세션 후 피드백을 제공하면 문제를 신속하게 해결해 드리겠습니다.
scikit-learn 의 load_digits() 함수를 사용하여 숫자 데이터셋을 로드합니다. 이 함수는 데이터셋의 특징과 레이블을 반환합니다.
import numpy as np
from sklearn.datasets import load_digits
data, labels = load_digits(return_X_y=True)
(n_samples, n_features), n_digits = data.shape, np.unique(labels).sizeK-Means 의 서로 다른 초기화 방법을 비교하기 위한 벤치마크를 정의합니다. 이 벤치마크는 다음을 수행합니다.
StandardScaler를 사용하여 데이터를 스케일링하는 파이프라인 생성from time import time
from sklearn import metrics
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
def bench_k_means(kmeans, name, data, labels):
"""KMeans 초기화 방법을 평가하기 위한 벤치마크.
매개변수
----------
kmeans : KMeans 인스턴스
이미 초기화된 `KMeans` 인스턴스.
name : str
전략에 주어진 이름. 결과 표시에 사용됩니다.
data : ndarray 형태 (n_samples, n_features)
군집화할 데이터.
labels : ndarray 형태 (n_samples,)
일부 감독이 필요한 군집화 지표를 계산하는 데 사용되는 레이블.
"""
t0 = time()
estimator = make_pipeline(StandardScaler(), kmeans).fit(data)
fit_time = time() - t0
results = [name, fit_time, estimator[-1].inertia_]
## 오직 실제 레이블과 추정기 레이블만 필요한 지표 정의
clustering_metrics = [
metrics.homogeneity_score,
metrics.completeness_score,
metrics.v_measure_score,
metrics.adjusted_rand_score,
metrics.adjusted_mutual_info_score,
]
results += [m(labels, estimator[-1].labels_) for m in clustering_metrics]
## 실루엣 점수는 전체 데이터셋이 필요합니다.
results += [
metrics.silhouette_score(
data,
estimator[-1].labels_,
metric="euclidean",
sample_size=300,
)
]
## 결과 표시
formatter_result = (
"{:9s}\t{:.3f}s\t{:.0f}\t{:.3f}\t{:.3f}\t{:.3f}\t{:.3f}\t{:.3f}\t{:.3f}"
)
print(formatter_result.format(*results))K-Means 초기화를 위한 세 가지 접근 방식을 비교합니다.
k-means++를 사용한 초기화. 이 방법은 확률적이며, 초기화를 4 번 실행합니다.from sklearn.cluster import KMeans
from sklearn.decomposition import PCA
print(82 * "_")
print("init\t\ttime\tinertia\thomo\tcompl\tv-meas\tARI\tAMI\tsilhouette")
kmeans = KMeans(init="k-means++", n_clusters=n_digits, n_init=4, random_state=0)
bench_k_means(kmeans=kmeans, name="k-means++", data=data, labels=labels)
kmeans = KMeans(init="random", n_clusters=n_digits, n_init=4, random_state=0)
bench_k_means(kmeans=kmeans, name="random", data=data, labels=labels)
pca = PCA(n_components=n_digits).fit(data)
kmeans = KMeans(init=pca.components_, n_clusters=n_digits, n_init=1)
bench_k_means(kmeans=kmeans, name="PCA-based", data=data, labels=labels)
print(82 * "_")PCA 를 사용하여 데이터셋을 2 차원으로 축소하고 이 새로운 공간에서 데이터와 클러스터를 플롯합니다.
import matplotlib.pyplot as plt
reduced_data = PCA(n_components=2).fit_transform(data)
kmeans = KMeans(init="k-means++", n_clusters=n_digits, n_init=4)
kmeans.fit(reduced_data)
## 메쉬의 간격. VQ 의 품질을 높이려면 감소.
h = 0.02 ## 메쉬 [x_min, x_max]x[y_min, y_max] 의 점.
## 결정 경계를 플롯합니다. 각 점에 색상을 할당합니다.
x_min, x_max = reduced_data[:, 0].min() - 1, reduced_data[:, 0].max() + 1
y_min, y_max = reduced_data[:, 1].min() - 1, reduced_data[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
## 메쉬의 각 점에 대한 레이블을 가져옵니다. 마지막으로 학습된 모델을 사용합니다.
Z = kmeans.predict(np.c_[xx.ravel(), yy.ravel()])
## 결과를 색상 플롯에 넣습니다.
Z = Z.reshape(xx.shape)
plt.figure(1)
plt.clf()
plt.imshow(
Z,
interpolation="nearest",
extent=(xx.min(), xx.max(), yy.min(), yy.max()),
cmap=plt.cm.Paired,
aspect="auto",
origin="lower",
)
plt.plot(reduced_data[:, 0], reduced_data[:, 1], "k.", markersize=2)
## 중심점을 흰색 X 로 플롯합니다.
centroids = kmeans.cluster_centers_
plt.scatter(
centroids[:, 0],
centroids[:, 1],
marker="x",
s=169,
linewidths=3,
color="w",
zorder=10,
)
plt.title(
"숫자 데이터셋에 대한 K-평균 군집화 (PCA 축소 데이터)\n"
"중심점은 흰색 십자표시로 표시됨"
)
plt.xlim(x_min, x_max)
plt.ylim(y_min, y_max)
plt.xticks(())
plt.yticks(())
plt.show()이 실험에서는 K-평균 군집화 알고리즘을 탐색하고 손으로 쓴 숫자 데이터셋에 적용했습니다. 서로 다른 초기화 방법을 비교하고 다양한 지표를 사용하여 군집화 성능을 평가했습니다. 또한 PCA 를 사용하여 2 차원 공간에서 결과를 시각화했습니다.