手書き数字データセットにおける交差検証

はじめに

この実験では、手書き数字の画像から数字を識別する分類問題である、数字データセットに対してサポートベクターマシン（SVM）を用いた交差検証を行います。

VMのヒント

VMの起動が完了したら、左上隅をクリックしてノートブックタブに切り替え、Jupyter Notebookを使って練習しましょう。

Jupyter Notebookの読み込みには数秒かかる場合があります。Jupyter Notebookの制限により、操作の検証は自動化できません。

学習中に問題がある場合は、Labbyにお問い合わせください。セッション後にフィードバックを提供してください。すぐに問題を解決いたします。

Skills Graph

データセットの読み込み

まず、scikit-learnから数字データセットを読み込み、特徴量とラベルに分割する必要があります。

import numpy as np
from sklearn import datasets

X, y = datasets.load_digits(return_X_y=True)

サポートベクターマシン（SVM）モデルの作成

次に、線形カーネルを持つSVMモデルを作成します。

from sklearn import svm

svc = svm.SVC(kernel="linear")

テストするハイパーパラメータ値を定義する

正則化パラメータCの異なる値をテストします。このパラメータは、マージンを最大化することと分類誤差を最小化することのトレードオフを制御します。10^-10と1の間で対数的に等間隔な10個の値をテストします。

C_s = np.logspace(-10, 0, 10)

交差検証を行い結果を記録する

Cの各値に対して、10分割交差検証を行い、スコアの平均と標準偏差を記録します。

from sklearn.model_selection import cross_val_score

scores = list()
scores_std = list()
for C in C_s:
    svc.C = C
    this_scores = cross_val_score(svc, X, y, n_jobs=1)
    scores.append(np.mean(this_scores))
    scores_std.append(np.std(this_scores))

結果をプロットする

最後に、Cの関数として平均スコアをプロットし、標準偏差を視覚化するための誤差バーも含めます。

import matplotlib.pyplot as plt

plt.figure()
plt.semilogx(C_s, scores)
plt.semilogx(C_s, np.array(scores) + np.array(scores_std), "b--")
plt.semilogx(C_s, np.array(scores) - np.array(scores_std), "b--")
locs, labels = plt.yticks()
plt.yticks(locs, list(map(lambda x: "%g" % x, locs)))
plt.ylabel("CV score")
plt.xlabel("Parameter C")
plt.ylim(0, 1.1)
plt.show()

まとめ

この実験では、手書き数字のデータセットに対してSVMモデルを用いて10分割交差検証を行い、正則化パラメータCの異なる値をテストしました。Cと平均交差検証スコアの関係を視覚化するために結果をプロットしました。これは、ハイパーパラメータのチューニングとモデル性能の評価に役立つ手法です。