Support Vector Machine Gewichtete Stichproben

Einführung

In diesem Lab lernen wir, wie wir eine Entscheidungsfunktion eines gewichteten Datensatzes in der SVM darstellen. Wir werden ein Modell erstellen, das die Stichprobengewichte berücksichtigt, und ein weiteres Modell, das die Stichprobengewichte nicht berücksichtigt. Anschließend vergleichen wir die beiden Modelle, indem wir ihre Entscheidungsfunktionen darstellen.

VM-Tipps

Nachdem der VM-Start abgeschlossen ist, klicken Sie in der oberen linken Ecke, um zur Registerkarte Notebook zu wechseln und Jupyter Notebook für die Übung zu nutzen.

Manchmal müssen Sie einige Sekunden warten, bis Jupyter Notebook vollständig geladen ist. Die Validierung von Vorgängen kann aufgrund von Einschränkungen in Jupyter Notebook nicht automatisiert werden.

Wenn Sie während des Lernens Probleme haben, können Sie Labby gerne fragen. Geben Sie nach der Sitzung Feedback, und wir werden das Problem für Sie prompt beheben.

Bibliotheken importieren

Wir beginnen mit dem Import der erforderlichen Bibliotheken.

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm

Daten erstellen

Wir werden einen Datensatz von 20 Punkten erstellen, wobei die ersten 10 Punkte zur Klasse 1 gehören und die letzten 10 Punkte zur Klasse -1 gehören.

np.random.seed(0)
X = np.r_[np.random.randn(10, 2) + [1, 1], np.random.randn(10, 2)]
y = [1] * 10 + [-1] * 10

Stichprobengewichte erstellen

Wir werden zwei Sets von Stichprobengewichten erstellen. Das erste Set von Stichprobengewichten wird für alle Punkte konstant sein, und das zweite Set von Stichprobengewichten wird für einige Ausreißer größer sein.

sample_weight_last_ten = abs(np.random.randn(len(X)))
sample_weight_constant = np.ones(len(X))
sample_weight_last_ten[15:] *= 5
sample_weight_last_ten[9] *= 15

Modelle trainieren

Wir werden zwei SVM-Modelle erstellen. Das erste Modell wird die Stichprobengewichte nicht berücksichtigen, und das zweite Modell wird die von uns gerade erstellten Stichprobengewichte berücksichtigen.

clf_no_weights = svm.SVC(gamma=1)
clf_no_weights.fit(X, y)

clf_weights = svm.SVC(gamma=1)
clf_weights.fit(X, y, sample_weight=sample_weight_last_ten)

Entscheidungsfunktionen plotten

Wir werden die Entscheidungsfunktionen der beiden gerade erstellten Modelle plotten. Wir werden die Entscheidungsfunktion des ersten Modells links und die Entscheidungsfunktion des zweiten Modells rechts plotten. Die Größe der Punkte wird proportional zu ihrem Gewicht sein.

fig, axes = plt.subplots(1, 2, figsize=(14, 6))

xx, yy = np.meshgrid(np.linspace(-4, 5, 500), np.linspace(-4, 5, 500))
Z = clf_no_weights.decision_function(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

axes[0].contourf(xx, yy, Z, alpha=0.75, cmap=plt.cm.bone)
axes[0].scatter(X[:, 0], X[:, 1], c=y, s=100 * sample_weight_constant, alpha=0.9, cmap=plt.cm.bone, edgecolors="black")
axes[0].axis("off")
axes[0].set_title("Konstante Gewichte")

Z = clf_weights.decision_function(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

axes[1].contourf(xx, yy, Z, alpha=0.75, cmap=plt.cm.bone)
axes[1].scatter(X[:, 0], X[:, 1], c=y, s=100 * sample_weight_last_ten, alpha=0.9, cmap=plt.cm.bone, edgecolors="black")
axes[1].axis("off")
axes[1].set_title("Modifizierte Gewichte")

plt.show()

Zusammenfassung

In diesem Lab haben wir gelernt, wie man die Entscheidungsfunktion eines gewichteten Datensatzes in SVM darstellt. Wir haben zwei Modelle erstellt, eines, das Stichprobengewichte berücksichtigt, und eines, das Stichprobengewichte nicht berücksichtigt. Anschließend haben wir die beiden Modelle verglichen, indem wir ihre Entscheidungsfunktionen geplottet haben.