Введение
Это пошаговая лабораторная работа по использованию AdaBoost для обучения решющего дерева и классификации двухмерного набора данных, состоящего из двух кластеров гауссовских квантилей.
Советы по работе с ВМ
После запуска ВМ нажмите в левом верхнем углу, чтобы переключиться на вкладку Notebook и получить доступ к Jupyter Notebook для практики.
Иногда вам может потребоваться подождать несколько секунд, пока Jupyter Notebook не загрузится полностью. Валидация операций не может быть автоматизирована из-за ограничений Jupyter Notebook.
Если вы сталкиваетесь с проблемами во время обучения, не стесняйтесь обращаться к Labby. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.
Импортируем необходимые библиотеки
В этом шаге мы импортируем необходимые библиотеки для этой лабораторной работы.
import numpy as np
import matplotlib.pyplot as plt
from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import make_gaussian_quantiles
from sklearn.inspection import DecisionBoundaryDisplay
Создаем набор данных
В этом шаге мы создадим не-линейно разделимый набор данных для классификации, состоящий из двух кластеров гауссовских квантилей, с использованием функции make_gaussian_quantiles из модуля sklearn.datasets. Также мы объединим два кластера и присвоим им метки.
X1, y1 = make_gaussian_quantiles(
cov=2.0, n_samples=200, n_features=2, n_classes=2, random_state=1
)
X2, y2 = make_gaussian_quantiles(
mean=(3, 3), cov=1.5, n_samples=300, n_features=2, n_classes=2, random_state=1
)
X = np.concatenate((X1, X2))
y = np.concatenate((y1, -y2 + 1))
Создаем и настраиваем AdaBoost-решательное дерево
В этом шаге мы создадим AdaBoost-решательное дерево с использованием класса AdaBoostClassifier из модуля sklearn.ensemble. В качестве базового оценивающего алгоритма мы будем использовать решательное дерево и установим параметр max_depth равным 1. Также установим параметр algorithm равным "SAMME" и параметр n_estimators равным 200. Наконец, настроим классификатор на наборе данных.
bdt = AdaBoostClassifier(
DecisionTreeClassifier(max_depth=1), algorithm="SAMME", n_estimators=200
)
bdt.fit(X, y)
Построение границ решения и точек обучения
В этом шаге мы построим границы решения и точки обучения. Создадим объект DecisionBoundaryDisplay с использованием метода from_estimator из модуля sklearn.inspection, передав в него классификатор AdaBoost, набор данных и другие параметры. Также построим точки обучения, используя для каждого класса разные цвета.
plot_colors = "br"
plot_step = 0.02
class_names = "AB"
plt.figure(figsize=(10, 5))
## Построение границ решения
ax = plt.subplot(121)
disp = DecisionBoundaryDisplay.from_estimator(
bdt,
X,
cmap=plt.cm.Paired,
response_method="predict",
ax=ax,
xlabel="x",
ylabel="y",
)
x_min, x_max = disp.xx0.min(), disp.xx0.max()
y_min, y_max = disp.xx1.min(), disp.xx1.max()
plt.axis("tight")
## Построение точек обучения
for i, n, c in zip(range(2), class_names, plot_colors):
idx = np.where(y == i)
plt.scatter(
X[idx, 0],
X[idx, 1],
c=c,
cmap=plt.cm.Paired,
s=20,
edgecolor="k",
label="Class %s" % n,
)
plt.xlim(x_min, x_max)
plt.ylim(y_min, y_max)
plt.legend(loc="upper right")
plt.title("Decision Boundary")
Построение оценок решения для двух классов
В этом шаге мы построим оценки решения для двух классов. Используем метод decision_function классификатора AdaBoost, чтобы получить оценки решения для каждого образца в наборе данных. Затем построим гистограммы оценок решения для каждого класса.
## Plot the two-class decision scores
twoclass_output = bdt.decision_function(X)
plot_range = (twoclass_output.min(), twoclass_output.max())
plt.subplot(122)
for i, n, c in zip(range(2), class_names, plot_colors):
plt.hist(
twoclass_output[y == i],
bins=10,
range=plot_range,
facecolor=c,
label="Class %s" % n,
alpha=0.5,
edgecolor="k",
)
x1, x2, y1, y2 = plt.axis()
plt.axis((x1, x2, y1, y2 * 1.2))
plt.legend(loc="upper right")
plt.ylabel("Samples")
plt.xlabel("Score")
plt.title("Decision Scores")
plt.tight_layout()
plt.subplots_adjust(wspace=0.35)
plt.show()
Резюме
В этом практическом занятии мы узнали, как использовать AdaBoost для обучения решательного дерева и классификации двухмерного набора данных, состоящего из двух кластеров гауссовских квантилей. Мы также узнали, как построить границы решения и оценки решения классификатора.