Кластеризация методом Affinity Propagation

Введение

В этом лабе мы узнаем, как использовать алгоритм Affinity Propagation для кластеризации набора данных. Алгоритм Affinity Propagation - это алгоритм кластеризации, который не требует предварительного определения количества кластеров и способен автоматически определить количество кластеров на основе входных данных.

Советы по работе с ВМ

После запуска ВМ нажмите в левом верхнем углу, чтобы переключиться на вкладку Notebook и получить доступ к Jupyter Notebook для практики.

Иногда вам может потребоваться подождать несколько секунд, пока Jupyter Notebook не загрузится полностью. Валидация операций не может быть автоматизирована из-за ограничений Jupyter Notebook.

Если вы сталкиваетесь с проблемами во время обучения, не стесняйтесь обращаться к Labby. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.

Skills Graph

Импортируем необходимые библиотеки

Начнем с импорта необходимых библиотек для выполнения кластеризации и генерации образцов данных.

import numpy as np
from sklearn.cluster import AffinityPropagation
from sklearn import metrics
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt

Генерируем образцовые данные

Мы сгенерируем набор образцовых данных с использованием функции make_blobs из модуля sklearn.datasets. Функция make_blobs генерирует набор точек в n-мерном пространстве, при этом каждая точка принадлежит одному из k кластеров. Мы сгенерируем набор данных с 300 точками в 2-мерном пространстве, с 3 кластерами и стандартным отклонением 0,5.

centers = [[1, 1], [-1, -1], [1, -1]]
X, labels_true = make_blobs(
    n_samples=300, centers=centers, cluster_std=0.5, random_state=0
)

Вычисляем Affinity Propagation

Мы будем использовать класс AffinityPropagation из модуля sklearn.cluster для кластеризации набора данных. Мы установим параметр preference равным -50, который контролирует количество кластеров, которое будет сгенерировано. Более низкое значение preference приведет к созданию большего количества кластеров. Затем мы выведем некоторые метрики, чтобы оценить качество кластеризации.

af = AffinityPropagation(preference=-50, random_state=0).fit(X)
cluster_centers_indices = af.cluster_centers_indices_
labels = af.labels_

n_clusters_ = len(cluster_centers_indices)

print("Estimated number of clusters: %d" % n_clusters_)
print("Homogeneity: %0.3f" % metrics.homogeneity_score(labels_true, labels))
print("Completeness: %0.3f" % metrics.completeness_score(labels_true, labels))
print("V-measure: %0.3f" % metrics.v_measure_score(labels_true, labels))
print("Adjusted Rand Index: %0.3f" % metrics.adjusted_rand_score(labels_true, labels))
print(
    "Adjusted Mutual Information: %0.3f"
    % metrics.adjusted_mutual_info_score(labels_true, labels)
)
print(
    "Silhouette Coefficient: %0.3f"
    % metrics.silhouette_score(X, labels, metric="sqeuclidean")
)

Построим результаты

Мы построим полученные кластеры с использованием библиотеки matplotlib. Мы пройдемся по каждому кластеру и построим точки, принадлежащие данному кластеру, а также центр кластера и линии, соединяющие центр с каждой точкой в кластере.

plt.close("all")
plt.figure(1)
plt.clf()

colors = plt.cycler("color", plt.cm.viridis(np.linspace(0, 1, 4)))

for k, col in zip(range(n_clusters_), colors):
    class_members = labels == k
    cluster_center = X[cluster_centers_indices[k]]
    plt.scatter(
        X[class_members, 0], X[class_members, 1], color=col["color"], marker="."
    )
    plt.scatter(
        cluster_center[0], cluster_center[1], s=14, color=col["color"], marker="o"
    )
    for x in X[class_members]:
        plt.plot(
            [cluster_center[0], x[0]], [cluster_center[1], x[1]], color=col["color"]
        )

plt.title("Estimated number of clusters: %d" % n_clusters_)
plt.show()

Резюме

В этом практическом занятии мы узнали, как использовать алгоритм Affinity Propagation для кластеризации набора данных. Мы сгенерировали набор образцовых данных, выполнили кластеризацию с использованием алгоритма Affinity Propagation и построили полученные кластеры. Мы также оценили качество кластеризации с использованием различных метрик.