交差検証による ROC 分散の推定

はじめに

この実験では、Python での交差検証を使って受信者操作特性 (ROC) メトリックの分散を推定し、可視化する方法を学びます。ROC 曲線は、2 値分類において、真陽性率 (TPR) を偽陽性率 (FPR) に対してプロットすることでモデルの性能を測定するために使用されます。私たちは、Scikit-learn ライブラリを使ってアイリスデータセットを読み込み、ノイズのある特徴を作成し、サポートベクターマシン (SVM) でデータセットを分類します。その後、交差検証を使って ROC 曲線をプロットし、曲線下の平均面積 (AUC) を計算して、訓練セットが異なるサブセットに分割されたときの分類器出力の変動性を見ます。

VM のヒント

VM の起動が完了したら、左上隅をクリックして ノートブック タブに切り替えて、Jupyter Notebook を使った練習にアクセスします。

時々、Jupyter Notebook が読み込み終了するまで数秒待つ必要がある場合があります。Jupyter Notebook の制限により、操作の検証を自動化することはできません。

学習中に問題に遭遇した場合は、Labby にお尋ねください。セッション後にフィードバックを提供してください。私たちは迅速に問題を解決いたします。

データの読み込みと準備

まず、Scikit-learn ライブラリを使ってアイリスデータセットを読み込みます。アイリスデータセットには 3 種類のアイリス植物が含まれており、2 値分類問題を作成するために 1 つのクラスを除外することでデータセットを 2 値化します。また、問題をより難しくするためにノイズのある特徴を追加します。

import numpy as np
from sklearn.datasets import load_iris

iris = load_iris()
target_names = iris.target_names
X, y = iris.data, iris.target
X, y = X[y!= 2], y[y!= 2]
n_samples, n_features = X.shape

## add noisy features
random_state = np.random.RandomState(0)
X = np.concatenate([X, random_state.randn(n_samples, 200 * n_features)], axis=1)

分類と ROC 分析

次に、交差検証を行った SVM 分類器を実行し、ROC 曲線をフォールドごとにプロットします。Scikit-learn の StratifiedKFold を使って交差検証の分割を生成します。また、ROC 曲線の平均 AUC を計算し、TPR の標準偏差をプロットすることで分類器出力の変動性を見ます。

import matplotlib.pyplot as plt
from sklearn import svm
from sklearn.metrics import auc
from sklearn.metrics import RocCurveDisplay
from sklearn.model_selection import StratifiedKFold

n_splits = 6
cv = StratifiedKFold(n_splits=n_splits)
classifier = svm.SVC(kernel="linear", probability=True, random_state=random_state)

tprs = []
aucs = []
mean_fpr = np.linspace(0, 1, 100)

fig, ax = plt.subplots(figsize=(6, 6))
for fold, (train, test) in enumerate(cv.split(X, y)):
    classifier.fit(X[train], y[train])
    viz = RocCurveDisplay.from_estimator(
        classifier,
        X[test],
        y[test],
        name=f"ROC fold {fold}",
        alpha=0.3,
        lw=1,
        ax=ax,
        plot_chance_level=(fold == n_splits - 1),
    )
    interp_tpr = np.interp(mean_fpr, viz.fpr, viz.tpr)
    interp_tpr[0] = 0.0
    tprs.append(interp_tpr)
    aucs.append(viz.roc_auc)

mean_tpr = np.mean(tprs, axis=0)
mean_tpr[-1] = 1.0
mean_auc = auc(mean_fpr, mean_tpr)
std_auc = np.std(aucs)
ax.plot(
    mean_fpr,
    mean_tpr,
    color="b",
    label=r"Mean ROC (AUC = %0.2f $\pm$ %0.2f)" % (mean_auc, std_auc),
    lw=2,
    alpha=0.8,
)

std_tpr = np.std(tprs, axis=0)
tprs_upper = np.minimum(mean_tpr + std_tpr, 1)
tprs_lower = np.maximum(mean_tpr - std_tpr, 0)
ax.fill_between(
    mean_fpr,
    tprs_lower,
    tprs_upper,
    color="grey",
    alpha=0.2,
    label=r"$\pm$ 1 std. dev.",
)

ax.set(
    xlim=[-0.05, 1.05],
    ylim=[-0.05, 1.05],
    xlabel="False Positive Rate",
    ylabel="True Positive Rate",
    title=f"Mean ROC curve with variability\n(Positive label '{target_names[1]}')",
)
ax.axis("square")
ax.legend(loc="lower right")
plt.show()

まとめ

この実験では、Python での交差検証を使って受信者操作特性 (ROC) メトリックの分散を推定し、可視化する方法を学びました。私たちはアイリスデータセットを読み込み、ノイズのある特徴を作成し、SVM でデータセットを分類しました。その後、交差検証を使って ROC 曲線をプロットし、訓練セットが異なるサブセットに分割されたときの分類器出力の変動性を見るために平均 AUC を計算しました。ROC 曲線は、2 値分類器の性能を評価し、真陽性と偽陽性のトレードオフを見るのに役立ちます。交差検証は、分類器出力の変動性を推定し、問題に最適なモデルを選ぶのに役立ちます。

交差検証を用いた ROC

はじめに

VM のヒント

データの読み込みと準備

分類と ROC 分析

まとめ