機械学習 | 損失関数 | Scikit-Learn

はじめに

機械学習において、損失関数は予測出力と実際の出力の差を測定するために使用されます。scikit-learn ライブラリは、分類問題に対して様々な凸損失関数を提供しています。この実験では、これらの損失関数の一部を可視化して比較します。

VM のヒント

VM の起動が完了したら、左上隅をクリックして ノートブック タブに切り替え、Jupyter Notebook を使って練習しましょう。

時々、Jupyter Notebook が読み込み終わるまで数秒待つ必要がある場合があります。Jupyter Notebook の制限により、操作の検証は自動化できません。

学習中に問題に遭遇した場合は、Labby にお問い合わせください。セッション後にフィードバックを提供してください。すぐに問題を解決いたします。

ライブラリのインポートと関数の定義

必要なライブラリをインポートし、修正済みのヒューバー損失関数を定義して始めます。

import numpy as np
import matplotlib.pyplot as plt

def modified_huber_loss(y_true, y_pred):
    z = y_pred * y_true
    loss = -4 * z
    loss[z >= -1] = (1 - z[z >= -1]) ** 2
    loss[z >= 1.0] = 0
    return loss

決定関数の範囲を定義する

決定関数 f(x) の値の範囲を定義します。

xmin, xmax = -4, 4
xx = np.linspace(xmin, xmax, 100)

損失関数をプロットする

matplotlib ライブラリを使って、scikit-learn でサポートされている様々な凸損失関数をプロットします。

lw = 2
plt.plot([xmin, 0, 0, xmax], [1, 1, 0, 0], color="gold", lw=lw, label="Zero-one loss")
plt.plot(xx, np.where(xx < 1, 1 - xx, 0), color="teal", lw=lw, label="Hinge loss")
plt.plot(xx, -np.minimum(xx, 0), color="yellowgreen", lw=lw, label="Perceptron loss")
plt.plot(xx, np.log2(1 + np.exp(-xx)), color="cornflowerblue", lw=lw, label="Log loss")
plt.plot(xx, np.where(xx < 1, 1 - xx, 0) ** 2, color="orange", lw=lw, label="Squared hinge loss")
plt.plot(xx, modified_huber_loss(xx, 1), color="darkorchid", lw=lw, linestyle="--", label="Modified Huber loss")
plt.ylim((0, 8))
plt.legend(loc="upper right")
plt.xlabel(r"Decision function $f(x)$")
plt.ylabel("$L(y=1, f(x))$")
plt.show()

グラフを解釈する

グラフを解釈し、各損失関数の挙動を分析します。

まとめ

この実験では、scikit-learn でサポートされている一部の凸損失関数を可視化し、比較しました。損失関数を理解することは機械学習において重要です。なぜなら、訓練中にモデルパラメータを最適化するために使用されるからです。

凸損失関数の比較