Vergleich von konvexen Verlustfunktionen

Einführung

In der Maschinellen Lernen werden Verlustfunktionen verwendet, um die Differenz zwischen der vorhergesagten Ausgabe und der tatsächlichen Ausgabe zu messen. Die scikit-learn-Bibliothek bietet verschiedene konvexe Verlustfunktionen für Klassifizierungsprobleme. In diesem Lab werden wir einige dieser Verlustfunktionen visualisieren und vergleichen.

VM-Tipps

Nachdem der VM-Start abgeschlossen ist, klicken Sie in der oberen linken Ecke, um zur Registerkarte Notebook zu wechseln und Jupyter Notebook für die Übung zu nutzen.

Manchmal müssen Sie einige Sekunden warten, bis Jupyter Notebook vollständig geladen ist. Die Validierung von Vorgängen kann aufgrund von Einschränkungen in Jupyter Notebook nicht automatisiert werden.

Wenn Sie bei der Lernphase Probleme haben, können Sie Labby gerne fragen. Geben Sie nach der Sitzung Feedback, und wir werden das Problem für Sie prompt beheben.

Bibliotheken importieren und Funktionen definieren

Wir beginnen mit dem Import der erforderlichen Bibliotheken und der Definition der modifizierten Huber-Verlustfunktion.

import numpy as np
import matplotlib.pyplot as plt

def modified_huber_loss(y_true, y_pred):
    z = y_pred * y_true
    loss = -4 * z
    loss[z >= -1] = (1 - z[z >= -1]) ** 2
    loss[z >= 1.0] = 0
    return loss

Definiere den Wertebereich für die Entscheidungsfunktion

Wir definieren den Wertebereich für die Entscheidungsfunktion f(x).

xmin, xmax = -4, 4
xx = np.linspace(xmin, xmax, 100)

Zeichnen Sie die Verlustfunktionen

Wir zeichnen die verschiedenen konvexen Verlustfunktionen, die von scikit-learn unterstützt werden, mit der matplotlib-Bibliothek.

lw = 2
plt.plot([xmin, 0, 0, xmax], [1, 1, 0, 0], color="gold", lw=lw, label="Zero-one loss")
plt.plot(xx, np.where(xx < 1, 1 - xx, 0), color="teal", lw=lw, label="Hinge loss")
plt.plot(xx, -np.minimum(xx, 0), color="yellowgreen", lw=lw, label="Perceptron loss")
plt.plot(xx, np.log2(1 + np.exp(-xx)), color="cornflowerblue", lw=lw, label="Log loss")
plt.plot(xx, np.where(xx < 1, 1 - xx, 0) ** 2, color="orange", lw=lw, label="Squared hinge loss")
plt.plot(xx, modified_huber_loss(xx, 1), color="darkorchid", lw=lw, linestyle="--", label="Modified Huber loss")
plt.ylim((0, 8))
plt.legend(loc="upper right")
plt.xlabel(r"Decision function $f(x)$")
plt.ylabel("$L(y=1, f(x))$")
plt.show()

Deute das Diagramm

Wir deuten das Diagramm und analysieren das Verhalten jeder Verlustfunktion.

Zusammenfassung

In diesem Lab haben wir einige der von scikit-learn unterstützten konvexen Verlustfunktionen visualisiert und verglichen. Das Verständnis von Verlustfunktionen ist in der Maschinellen Lernung von entscheidender Bedeutung, da sie bei der Optimierung der Modellparameter während des Trainings verwendet werden.