はじめに
この実験では、AIC と BIC 基準を使用して、LassoLarsIC 推定器を使って最適な Lasso モデルを選択する方法を学びます。scikit-learn の糖尿病データセットを使用します。
VM のヒント
VM の起動が完了したら、左上隅をクリックしてノートブックタブに切り替え、Jupyter Notebook を使って練習しましょう。
時々、Jupyter Notebook が読み込み終了するまで数秒待つ必要がある場合があります。Jupyter Notebook の制限により、操作の検証は自動化できません。
学習中に問題に遭遇した場合は、Labby にお問い合わせください。セッション後にフィードバックを提供してください。すぐに問題を解決いたします。
データの読み込み
scikit-learn から load_diabetes メソッドを使って糖尿病データセットを読み込みます。
from sklearn.datasets import load_diabetes
X, y = load_diabetes(return_X_y=True, as_frame=True)
データの前処理
StandardScaler メソッドを使ってデータセットをスケーリングし、AIC 基準で LassoLarsIC 推定器をフィットさせます。
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LassoLarsIC
from sklearn.pipeline import make_pipeline
lasso_lars_ic = make_pipeline(StandardScaler(), LassoLarsIC(criterion="aic")).fit(X, y)
AIC と BIC の再スケーリング
[ZHT2007]_の定義に合わせるために、AIC と BIC を再スケーリングする必要があります。
def zou_et_al_criterion_rescaling(criterion, n_samples, noise_variance):
"""Rescale the information criterion to follow the definition of Zou et al."""
return criterion - n_samples * np.log(2 * np.pi * noise_variance) - n_samples
aic_criterion = zou_et_al_criterion_rescaling(
lasso_lars_ic[-1].criterion_,
n_samples,
lasso_lars_ic[-1].noise_variance_,
)
index_alpha_path_aic = np.flatnonzero(
lasso_lars_ic[-1].alphas_ == lasso_lars_ic[-1].alpha_
)[0]
BIC 基準で LassoLarsIC 推定器をフィットさせる
次に、BIC 基準で LassoLarsIC 推定器をフィットさせます。
lasso_lars_ic.set_params(lassolarsic__criterion="bic").fit(X, y)
bic_criterion = zou_et_al_criterion_rescaling(
lasso_lars_ic[-1].criterion_,
n_samples,
lasso_lars_ic[-1].noise_variance_,
)
index_alpha_path_bic = np.flatnonzero(
lasso_lars_ic[-1].alphas_ == lasso_lars_ic[-1].alpha_
)[0]
AIC と BIC 基準をプロットする
AIC と BIC 基準とその後選択された正則化パラメータをプロットします。
plt.plot(aic_criterion, color="tab:blue", marker="o", label="AIC criterion")
plt.plot(bic_criterion, color="tab:orange", marker="o", label="BIC criterion")
plt.vlines(
index_alpha_path_bic,
aic_criterion.min(),
aic_criterion.max(),
color="black",
linestyle="--",
label="Selected alpha",
)
plt.legend()
plt.ylabel("Information criterion")
plt.xlabel("Lasso model sequence")
_ = plt.title("Lasso model selection via AIC and BIC")
まとめ
この実験では、AIC と BIC 基準を使って最適な Lasso モデルを選択するために LassoLarsIC 推定器をどのように使用するかを学びました。また、[ZHT2007]_の定義に合わせるために AIC と BIC をどのように再スケーリングするかも学びました。