Support Vector Regression

Einführung

In diesem Lab verwenden wir die Support Vector Regression (SVR), um ein Modell an einen eindimensionalen Datensatz anzupassen, indem wir lineare, polynomiale und Radial Basis Function (RBF)-Kerne verwenden. Wir verwenden die scikit-learn-Bibliothek in Python, um die SVR durchzuführen.

Tipps für die VM

Nachdem der VM-Start abgeschlossen ist, klicken Sie in der oberen linken Ecke, um zur Registerkarte Notebook zu wechseln und Jupyter Notebook für die Übung zu öffnen.

Manchmal müssen Sie einige Sekunden warten, bis Jupyter Notebook vollständig geladen ist. Die Validierung von Vorgängen kann aufgrund der Einschränkungen in Jupyter Notebook nicht automatisiert werden.

Wenn Sie bei der Lernphase Probleme haben, können Sie Labby gerne fragen. Geben Sie nach der Sitzung Feedback, und wir werden das Problem für Sie prompt beheben.

Beispiel-Daten generieren

Zunächst generieren wir einen Beispiel-Datensatz, der aus 40 zufälligen Werten zwischen 0 und 5 besteht. Anschließend berechnen wir die Sinusfunktion jedes Wertes und fügen jedem 5. Wert etwas Rauschen hinzu.

import numpy as np

## Generate sample data
X = np.sort(5 * np.random.rand(40, 1), axis=0)
y = np.sin(X).ravel()

## add noise to targets
y[::5] += 3 * (0.5 - np.random.rand(8))

Regressionsmodell anpassen

Als nächstes passen wir ein SVR-Modell an unseren Beispiel-Datensatz an, indem wir einen linearen, polynomiellen und RBF-Kern verwenden. Wir legen die Hyperparameter für jedes Modell fest und trainieren sie an unserem Beispiel-Datensatz.

from sklearn.svm import SVR

## Fit regression model
svr_rbf = SVR(kernel="rbf", C=100, gamma=0.1, epsilon=0.1)
svr_lin = SVR(kernel="linear", C=100, gamma="auto")
svr_poly = SVR(kernel="poly", C=100, gamma="auto", degree=3, epsilon=0.1, coef0=1)

svrs = [svr_rbf, svr_lin, svr_poly]

for svr in svrs:
    svr.fit(X, y)

Ergebnisse visualisieren

Schließlich visualisieren wir die Ergebnisse unserer SVR-Modelle, indem wir sie gegen den Beispiel-Datensatz aufzeichnen. Wir zeichnen auch die Supportvektoren und andere Trainingsdaten.

import matplotlib.pyplot as plt

## Look at the results
lw = 2

kernel_label = ["RBF", "Linear", "Polynomial"]
model_color = ["m", "c", "g"]

fig, axes = plt.subplots(nrows=1, ncols=3, figsize=(15, 10), sharey=True)

for ix, svr in enumerate(svrs):
    axes[ix].plot(
        X,
        svr.predict(X),
        color=model_color[ix],
        lw=lw,
        label="{} model".format(kernel_label[ix]),
    )
    axes[ix].scatter(
        X[svr.support_],
        y[svr.support_],
        facecolor="none",
        edgecolor=model_color[ix],
        s=50,
        label="{} support vectors".format(kernel_label[ix]),
    )
    axes[ix].scatter(
        X[np.setdiff1d(np.arange(len(X)), svr.support_)],
        y[np.setdiff1d(np.arange(len(X)), svr.support_)],
        facecolor="none",
        edgecolor="k",
        s=50,
        label="other training data",
    )
    axes[ix].legend(
        loc="upper center",
        bbox_to_anchor=(0.5, 1.1),
        ncol=1,
        fancybox=True,
        shadow=True,
    )

fig.text(0.5, 0.04, "data", ha="center", va="center")
fig.text(0.06, 0.5, "target", ha="center", va="center", rotation="vertical")
fig.suptitle("Support Vector Regression", fontsize=14)
plt.show()

Zusammenfassung

In diesem Lab haben wir gelernt, wie man die Support Vector Regression (SVR) verwendet, um ein Modell an einen eindimensionalen Datensatz anzupassen, indem man lineare, polynomiale und RBF-Kerne verwendet. Wir haben Beispiel-Daten generiert, Regressionsmodelle mit scikit-learn angepasst und die Ergebnisse visualisiert.