Einführung
In der Maschinellen Lernen werden Verlustfunktionen verwendet, um die Differenz zwischen der vorhergesagten Ausgabe und der tatsächlichen Ausgabe zu messen. Die scikit-learn-Bibliothek bietet verschiedene konvexe Verlustfunktionen für Klassifizierungsprobleme. In diesem Lab werden wir einige dieser Verlustfunktionen visualisieren und vergleichen.
VM-Tipps
Nachdem der VM-Start abgeschlossen ist, klicken Sie in der oberen linken Ecke, um zur Registerkarte Notebook zu wechseln und Jupyter Notebook für die Übung zu nutzen.
Manchmal müssen Sie einige Sekunden warten, bis Jupyter Notebook vollständig geladen ist. Die Validierung von Vorgängen kann aufgrund von Einschränkungen in Jupyter Notebook nicht automatisiert werden.
Wenn Sie bei der Lernphase Probleme haben, können Sie Labby gerne fragen. Geben Sie nach der Sitzung Feedback, und wir werden das Problem für Sie prompt beheben.
Bibliotheken importieren und Funktionen definieren
Wir beginnen mit dem Import der erforderlichen Bibliotheken und der Definition der modifizierten Huber-Verlustfunktion.
import numpy as np
import matplotlib.pyplot as plt
def modified_huber_loss(y_true, y_pred):
z = y_pred * y_true
loss = -4 * z
loss[z >= -1] = (1 - z[z >= -1]) ** 2
loss[z >= 1.0] = 0
return loss
Definiere den Wertebereich für die Entscheidungsfunktion
Wir definieren den Wertebereich für die Entscheidungsfunktion f(x).
xmin, xmax = -4, 4
xx = np.linspace(xmin, xmax, 100)
Zeichnen Sie die Verlustfunktionen
Wir zeichnen die verschiedenen konvexen Verlustfunktionen, die von scikit-learn unterstützt werden, mit der matplotlib-Bibliothek.
lw = 2
plt.plot([xmin, 0, 0, xmax], [1, 1, 0, 0], color="gold", lw=lw, label="Zero-one loss")
plt.plot(xx, np.where(xx < 1, 1 - xx, 0), color="teal", lw=lw, label="Hinge loss")
plt.plot(xx, -np.minimum(xx, 0), color="yellowgreen", lw=lw, label="Perceptron loss")
plt.plot(xx, np.log2(1 + np.exp(-xx)), color="cornflowerblue", lw=lw, label="Log loss")
plt.plot(xx, np.where(xx < 1, 1 - xx, 0) ** 2, color="orange", lw=lw, label="Squared hinge loss")
plt.plot(xx, modified_huber_loss(xx, 1), color="darkorchid", lw=lw, linestyle="--", label="Modified Huber loss")
plt.ylim((0, 8))
plt.legend(loc="upper right")
plt.xlabel(r"Decision function $f(x)$")
plt.ylabel("$L(y=1, f(x))$")
plt.show()
Deute das Diagramm
Wir deuten das Diagramm und analysieren das Verhalten jeder Verlustfunktion.
Zusammenfassung
In diesem Lab haben wir einige der von scikit-learn unterstützten konvexen Verlustfunktionen visualisiert und verglichen. Das Verständnis von Verlustfunktionen ist in der Maschinellen Lernung von entscheidender Bedeutung, da sie bei der Optimierung der Modellparameter während des Trainings verwendet werden.