Scikit-Learn を使った反復補完のマスター

はじめに

この実験では、Scikit-LearnのIterativeImputerクラスを使ってデータセットの欠損値を補完する方法を学びます。カリフォルニア住宅データセットにおいて、各行から1つの値をランダムに削除し、BayesianRidge推定器を使用する際に、異なる推定器を比較して、IterativeImputerに最適なものを見つけます。

VMのヒント

VMの起動が完了したら、左上隅をクリックしてノートブックタブに切り替え、Jupyter Notebookを使って練習しましょう。

時々、Jupyter Notebookが読み込み終了するまで数秒待つ必要があります。Jupyter Notebookの制限により、操作の検証を自動化することはできません。

学習中に問題に遭遇した場合は、Labbyにお問い合わせください。セッション後にフィードバックを提供してください。すぐに問題を解決いたします。

ライブラリのインポート

まず、この実験に必要なライブラリをインポートします。

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd

from sklearn.experimental import enable_iterative_imputer
from sklearn.datasets import fetch_california_housing
from sklearn.impute import SimpleImputer
from sklearn.impute import IterativeImputer
from sklearn.linear_model import BayesianRidge, Ridge
from sklearn.kernel_approximation import Nystroem
from sklearn.ensemble import RandomForestRegressor
from sklearn.neighbors import KNeighborsRegressor
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import cross_val_score

データセットの読み込み

Scikit-Learnからカリフォルニア住宅データセットを読み込みます。計算時間を短縮するため、2,000サンプルのみを使用します。

N_SPLITS = 5

rng = np.random.RandomState(0)

X_full, y_full = fetch_california_housing(return_X_y=True)
X_full = X_full[::10]
y_full = y_full[::10]
n_samples, n_features = X_full.shape

欠損値の追加

データセットの各行に1つの欠損値を追加します。

X_missing = X_full.copy()
y_missing = y_full
missing_samples = np.arange(n_samples)
missing_features = rng.choice(n_features, n_samples, replace=True)
X_missing[missing_samples, missing_features] = np.nan

SimpleImputerを使った欠損値の補完

Scikit-LearnのSimpleImputerクラスを使って、平均値と中央値の戦略を用いて欠損値を補完します。

score_simple_imputer = pd.DataFrame()
for strategy in ("mean", "median"):
    estimator = make_pipeline(
        SimpleImputer(missing_values=np.nan, strategy=strategy), BayesianRidge()
    )
    score_simple_imputer[strategy] = cross_val_score(
        estimator, X_missing, y_missing, scoring="neg_mean_squared_error", cv=N_SPLITS
    )

IterativeImputerを使った欠損値の補完

Scikit-LearnのIterativeImputerクラスを使って、異なる推定器を用いて欠損値を補完します。

estimators = [
    BayesianRidge(),
    RandomForestRegressor(
        n_estimators=4,
        max_depth=10,
        bootstrap=True,
        max_samples=0.5,
        n_jobs=2,
        random_state=0,
    ),
    make_pipeline(
        Nystroem(kernel="polynomial", degree=2, random_state=0), Ridge(alpha=1e3)
    ),
    KNeighborsRegressor(n_neighbors=15),
]
score_iterative_imputer = pd.DataFrame()
tolerances = (1e-3, 1e-1, 1e-1, 1e-2)
for impute_estimator, tol in zip(estimators, tolerances):
    estimator = make_pipeline(
        IterativeImputer(
            random_state=0, estimator=impute_estimator, max_iter=25, tol=tol
        ),
        BayesianRidge(),
    )
    score_iterative_imputer[impute_estimator.__class__.__name__] = cross_val_score(
        estimator, X_missing, y_missing, scoring="neg_mean_squared_error", cv=N_SPLITS
    )

結果の比較

棒グラフを使って、異なる欠損値補完戦略の結果を比較します。

scores = pd.concat(
    [score_full_data, score_simple_imputer, score_iterative_imputer],
    keys=["Original", "SimpleImputer", "IterativeImputer"],
    axis=1,
)

fig, ax = plt.subplots(figsize=(13, 6))
means = -scores.mean()
errors = scores.std()
means.plot.barh(xerr=errors, ax=ax)
ax.set_title("California Housing Regression with Different Imputation Methods")
ax.set_xlabel("MSE (smaller is better)")
ax.set_yticks(np.arange(means.shape[0]))
ax.set_yticklabels([" w/ ".join(label) for label in means.index.tolist()])
plt.tight_layout(pad=1)
plt.show()

まとめ

この実験では、Scikit-LearnのIterativeImputerクラスを使ってデータセットの欠損値を補完する方法を学びました。SimpleImputerを使った平均値と中央値による欠損値補完と、IterativeImputerを使った異なる推定器を用いて、異なる欠損値補完戦略を比較しました。カリフォルニア住宅データセットのこの特定の欠損値のパターンに対して、BayesianRidgeとRandomForestRegressorが最良の結果をもたらすことがわかりました。

Scikit-Learn の反復補完器