Введение
В этом лабе мы узнаем, как использовать алгоритм Affinity Propagation для кластеризации набора данных. Алгоритм Affinity Propagation - это алгоритм кластеризации, который не требует предварительного определения количества кластеров и способен автоматически определить количество кластеров на основе входных данных.
Советы по работе с ВМ
После запуска ВМ нажмите в левом верхнем углу, чтобы переключиться на вкладку Notebook и получить доступ к Jupyter Notebook для практики.
Иногда вам может потребоваться подождать несколько секунд, пока Jupyter Notebook не загрузится полностью. Валидация операций не может быть автоматизирована из-за ограничений Jupyter Notebook.
Если вы сталкиваетесь с проблемами во время обучения, не стесняйтесь обращаться к Labby. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.
Импортируем необходимые библиотеки
Начнем с импорта необходимых библиотек для выполнения кластеризации и генерации образцов данных.
import numpy as np
from sklearn.cluster import AffinityPropagation
from sklearn import metrics
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt
Генерируем образцовые данные
Мы сгенерируем набор образцовых данных с использованием функции make_blobs из модуля sklearn.datasets. Функция make_blobs генерирует набор точек в n-мерном пространстве, при этом каждая точка принадлежит одному из k кластеров. Мы сгенерируем набор данных с 300 точками в 2-мерном пространстве, с 3 кластерами и стандартным отклонением 0,5.
centers = [[1, 1], [-1, -1], [1, -1]]
X, labels_true = make_blobs(
n_samples=300, centers=centers, cluster_std=0.5, random_state=0
)
Вычисляем Affinity Propagation
Мы будем использовать класс AffinityPropagation из модуля sklearn.cluster для кластеризации набора данных. Мы установим параметр preference равным -50, который контролирует количество кластеров, которое будет сгенерировано. Более низкое значение preference приведет к созданию большего количества кластеров. Затем мы выведем некоторые метрики, чтобы оценить качество кластеризации.
af = AffinityPropagation(preference=-50, random_state=0).fit(X)
cluster_centers_indices = af.cluster_centers_indices_
labels = af.labels_
n_clusters_ = len(cluster_centers_indices)
print("Estimated number of clusters: %d" % n_clusters_)
print("Homogeneity: %0.3f" % metrics.homogeneity_score(labels_true, labels))
print("Completeness: %0.3f" % metrics.completeness_score(labels_true, labels))
print("V-measure: %0.3f" % metrics.v_measure_score(labels_true, labels))
print("Adjusted Rand Index: %0.3f" % metrics.adjusted_rand_score(labels_true, labels))
print(
"Adjusted Mutual Information: %0.3f"
% metrics.adjusted_mutual_info_score(labels_true, labels)
)
print(
"Silhouette Coefficient: %0.3f"
% metrics.silhouette_score(X, labels, metric="sqeuclidean")
)
Построим результаты
Мы построим полученные кластеры с использованием библиотеки matplotlib. Мы пройдемся по каждому кластеру и построим точки, принадлежащие данному кластеру, а также центр кластера и линии, соединяющие центр с каждой точкой в кластере.
plt.close("all")
plt.figure(1)
plt.clf()
colors = plt.cycler("color", plt.cm.viridis(np.linspace(0, 1, 4)))
for k, col in zip(range(n_clusters_), colors):
class_members = labels == k
cluster_center = X[cluster_centers_indices[k]]
plt.scatter(
X[class_members, 0], X[class_members, 1], color=col["color"], marker="."
)
plt.scatter(
cluster_center[0], cluster_center[1], s=14, color=col["color"], marker="o"
)
for x in X[class_members]:
plt.plot(
[cluster_center[0], x[0]], [cluster_center[1], x[1]], color=col["color"]
)
plt.title("Estimated number of clusters: %d" % n_clusters_)
plt.show()
Резюме
В этом практическом занятии мы узнали, как использовать алгоритм Affinity Propagation для кластеризации набора данных. Мы сгенерировали набор образцовых данных, выполнили кластеризацию с использованием алгоритма Affinity Propagation и построили полученные кластеры. Мы также оценили качество кластеризации с использованием различных метрик.