Регирессия с деревом решений для нескольких выходов

Введение

В этом практическом занятии мы рассмотрим пример регрессии с несколькими выходами с использованием дерева решений. Вы увидите, как деревья решений используются для предсказания одновременно шумных наблюдений x и y для окружности, учитывая только одну основную характеристику. Таким образом, модель обучается на локальных линейных регрессиях, приближающих окружность.

Советы по использованию ВМ

После запуска виртуальной машины щелкните в верхнем левом углу, чтобы переключиться на вкладку Ноутбук и получить доступ к Jupyter Notebook для практики.

Иногда вам может потребоваться подождать несколько секунд, пока Jupyter Notebook полностью загрузится. Проверка операций не может быть автоматизирована из-за ограничений Jupyter Notebook.

Если вы сталкиваетесь с проблемами во время обучения, не стесняйтесь обращаться к Labby. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.

Skills Graph

Импорт библиотек

В этом шаге мы импортируем необходимые библиотеки: numpy, matplotlib.pyplot и DecisionTreeRegressor из sklearn.tree.

import numpy as np
import matplotlib.pyplot as plt
from sklearn.tree import DecisionTreeRegressor

Создание случайного набора данных

В этом шаге мы создадим случайный набор данных. Мы будем использовать библиотеку numpy для создания отсортированного массива из 100 элементов с случайными значениями от 0 до 200, а затем вычесть 100 из каждого элемента. Затем мы используем numpy для вычисления синуса и косинуса каждого элемента и объединяем эти массивы в двумерный массив формы (100, 2) для создания массива y. Также мы добавим случайный шум к каждому пятому элементу.

## Create a random dataset
rng = np.random.RandomState(1)
X = np.sort(200 * rng.rand(100, 1) - 100, axis=0)
y = np.array([np.pi * np.sin(X).ravel(), np.pi * np.cos(X).ravel()]).T
y[::5, :] += 0.5 - rng.rand(20, 2)

Настройка регрессионной модели

В этом шаге мы настроим регрессионные модели. Мы будем использовать DecisionTreeRegressor из sklearn.tree для настройки трех разных моделей с разной максимальной глубиной.

## Fit regression model
regr_1 = DecisionTreeRegressor(max_depth=2)
regr_2 = DecisionTreeRegressor(max_depth=5)
regr_3 = DecisionTreeRegressor(max_depth=8)
regr_1.fit(X, y)
regr_2.fit(X, y)
regr_3.fit(X, y)

Предсказание

В этом шаге мы сделаем предсказания с использованием моделей, созданных на предыдущем шаге. Мы будем использовать np.arange для создания нового массива значений от -100 до 100 с интервалом 0,01, а затем метод predict наших моделей для предсказания выходных данных.

## Predict
X_test = np.arange(-100.0, 100.0, 0.01)[:, np.newaxis]
y_1 = regr_1.predict(X_test)
y_2 = regr_2.predict(X_test)
y_3 = regr_3.predict(X_test)

Построение графиков результатов

В этом шаге мы построим графики результатов. Мы будем использовать matplotlib.pyplot для создания точечного графика исходных данных и каждого из трех предсказаний моделей. Также мы добавим подписи и заголовок к графику.

## Plot the results
plt.figure()
s = 25
plt.scatter(y[:, 0], y[:, 1], c="navy", s=s, edgecolor="black", label="data")
plt.scatter(
    y_1[:, 0],
    y_1[:, 1],
    c="cornflowerblue",
    s=s,
    edgecolor="black",
    label="max_depth=2",
)
plt.scatter(y_2[:, 0], y_2[:, 1], c="red", s=s, edgecolor="black", label="max_depth=5")
plt.scatter(
    y_3[:, 0], y_3[:, 1], c="orange", s=s, edgecolor="black", label="max_depth=8"
)
plt.xlim([-6, 6])
plt.ylim([-6, 6])
plt.xlabel("target 1")
plt.ylabel("target 2")
plt.title("Multi-output Decision Tree Regression")
plt.legend(loc="best")
plt.show()

Резюме

В этом практическом занятии мы узнали, как использовать деревья решений для регрессии с несколькими выходными переменными. Мы создали случайный набор данных, настроили регрессионные модели, сделали предсказания и построили графики результатов. Деревья решений научились приближать окружность с помощью локальных линейных регрессий. Также мы увидели, что если максимальная глубина дерева установлена слишком высокой, деревья решений учат слишком мелкие детали обучающих данных и учатся на шумах, то есть они переобучаются.