サポートベクトル回帰

はじめに

この実験では、線形、多項式、およびラジアルベーシス関数 (RBF) カーネルを使用して、1 次元のデータセットに対してサポートベクトル回帰 (SVR) を用いてモデルをフィットさせます。SVR を実行するために、Python の scikit-learn ライブラリを使用します。

VM のヒント

VM の起動が完了したら、左上隅をクリックしてノートブックタブに切り替え、Jupyter Notebook を使って練習しましょう。

時々、Jupyter Notebook が読み込み終了するまで数秒待つ必要がある場合があります。Jupyter Notebook の制限により、操作の検証を自動化することはできません。

学習中に問題に遭遇した場合は、Labby にお問い合わせください。セッション後にフィードバックを提供してください。すぐに問題を解決いたします。

サンプルデータの生成

まず、0 から 5 の間の 40 個のランダムな値からなるサンプルデータセットを生成します。次に、各値のサイン関数を計算し、5 番目の値に対してノイズを追加します。

import numpy as np

## Generate sample data
X = np.sort(5 * np.random.rand(40, 1), axis=0)
y = np.sin(X).ravel()

## add noise to targets
y[::5] += 3 * (0.5 - np.random.rand(8))

回帰モデルのフィット

次に、線形、多項式、および RBF カーネルを使用して、サンプルデータセットに対して SVR モデルをフィットさせます。各モデルのハイパーパラメータを設定し、サンプルデータセットで学習させます。

from sklearn.svm import SVR

## Fit regression model
svr_rbf = SVR(kernel="rbf", C=100, gamma=0.1, epsilon=0.1)
svr_lin = SVR(kernel="linear", C=100, gamma="auto")
svr_poly = SVR(kernel="poly", C=100, gamma="auto", degree=3, epsilon=0.1, coef0=1)

svrs = [svr_rbf, svr_lin, svr_poly]

for svr in svrs:
    svr.fit(X, y)

結果の可視化

最後に、SVR モデルの結果をサンプルデータセットに対してプロットすることで可視化します。また、サポートベクトルやその他の学習データもプロットします。

import matplotlib.pyplot as plt

## Look at the results
lw = 2

kernel_label = ["RBF", "Linear", "Polynomial"]
model_color = ["m", "c", "g"]

fig, axes = plt.subplots(nrows=1, ncols=3, figsize=(15, 10), sharey=True)

for ix, svr in enumerate(svrs):
    axes[ix].plot(
        X,
        svr.predict(X),
        color=model_color[ix],
        lw=lw,
        label="{} model".format(kernel_label[ix]),
    )
    axes[ix].scatter(
        X[svr.support_],
        y[svr.support_],
        facecolor="none",
        edgecolor=model_color[ix],
        s=50,
        label="{} support vectors".format(kernel_label[ix]),
    )
    axes[ix].scatter(
        X[np.setdiff1d(np.arange(len(X)), svr.support_)],
        y[np.setdiff1d(np.arange(len(X)), svr.support_)],
        facecolor="none",
        edgecolor="k",
        s=50,
        label="other training data",
    )
    axes[ix].legend(
        loc="upper center",
        bbox_to_anchor=(0.5, 1.1),
        ncol=1,
        fancybox=True,
        shadow=True,
    )

fig.text(0.5, 0.04, "data", ha="center", va="center")
fig.text(0.06, 0.5, "target", ha="center", va="center", rotation="vertical")
fig.suptitle("Support Vector Regression", fontsize=14)
plt.show()

まとめ

この実験では、線形、多項式、および RBF カーネルを使用して、1 次元のデータセットに対してサポートベクトル回帰 (SVR) を用いてモデルをフィットさせる方法を学びました。サンプルデータを生成し、scikit-learn を使って回帰モデルをフィットさせ、結果を可視化しました。