Подгонка модели методом опорных векторов для регрессии

Введение

В этом лабораторном занятии мы будем использовать метод опорных векторов для регрессии (SVR) для подгонки модели к одномерному набору данных с использованием линейных, полиномиальных и радиальных базисных функций (RBF) ядер. Мы будем использовать библиотеку scikit-learn для Python для выполнения SVR.

Советы по работе с ВМ

После завершения запуска ВМ нажмите в левом верхнем углу, чтобы переключиться на вкладку Notebook, чтобы получить доступ к Jupyter Notebook для практики.

Иногда вам может потребоваться подождать несколько секунд, пока Jupyter Notebook не загрузится полностью. Валидация операций не может быть автоматизирована из-за ограничений Jupyter Notebook.

Если вы сталкиваетесь с проблемами во время обучения, не стесняйтесь обращаться к Labby. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.

Skills Graph

Генерация выборочных данных

Сначала мы генерируем выборочный набор данных, состоящий из 40 случайных значений в диапазоне от 0 до 5. Затем мы вычисляем синус-функцию каждого значения и добавляем некоторый шум к каждому 5-му значению.

import numpy as np

## Generate sample data
X = np.sort(5 * np.random.rand(40, 1), axis=0)
y = np.sin(X).ravel()

## add noise to targets
y[::5] += 3 * (0.5 - np.random.rand(8))

Подгонка регрессионной модели

Далее мы подгоняем модель SVR к нашему выборочному набору данных с использованием линейного, полиномиального и RBF-ядра. Мы настраиваем гиперпараметры для каждой модели и обучаем их на нашем выборочном наборе данных.

from sklearn.svm import SVR

## Fit regression model
svr_rbf = SVR(kernel="rbf", C=100, gamma=0.1, epsilon=0.1)
svr_lin = SVR(kernel="linear", C=100, gamma="auto")
svr_poly = SVR(kernel="poly", C=100, gamma="auto", degree=3, epsilon=0.1, coef0=1)

svrs = [svr_rbf, svr_lin, svr_poly]

for svr in svrs:
    svr.fit(X, y)

Визуализация результатов

Наконец, мы визуализируем результаты наших моделей SVR, построив их в сравнении с выборочным набором данных. Мы также строим опорные векторы и другие данные обучения.

import matplotlib.pyplot as plt

## Look at the results
lw = 2

kernel_label = ["RBF", "Linear", "Polynomial"]
model_color = ["m", "c", "g"]

fig, axes = plt.subplots(nrows=1, ncols=3, figsize=(15, 10), sharey=True)

for ix, svr in enumerate(svrs):
    axes[ix].plot(
        X,
        svr.predict(X),
        color=model_color[ix],
        lw=lw,
        label="{} model".format(kernel_label[ix]),
    )
    axes[ix].scatter(
        X[svr.support_],
        y[svr.support_],
        facecolor="none",
        edgecolor=model_color[ix],
        s=50,
        label="{} support vectors".format(kernel_label[ix]),
    )
    axes[ix].scatter(
        X[np.setdiff1d(np.arange(len(X)), svr.support_)],
        y[np.setdiff1d(np.arange(len(X)), svr.support_)],
        facecolor="none",
        edgecolor="k",
        s=50,
        label="other training data",
    )
    axes[ix].legend(
        loc="upper center",
        bbox_to_anchor=(0.5, 1.1),
        ncol=1,
        fancybox=True,
        shadow=True,
    )

fig.text(0.5, 0.04, "data", ha="center", va="center")
fig.text(0.06, 0.5, "target", ha="center", va="center", rotation="vertical")
fig.suptitle("Support Vector Regression", fontsize=14)
plt.show()

Резюме

В этом лабораторном занятии мы научились использовать метод опорных векторов для регрессии (SVR) для подгонки модели к одномерному набору данных с использованием линейных, полиномиальных и RBF-ядер. Мы сгенерировали выборочные данные, подготовили регрессионные модели с использованием scikit-learn и визуализировали результаты.