Iris-Blumen-Klassifizierung mit Voting Classifier

Einführung

In diesem Lab verwenden wir den VotingClassifier von Scikit-Learn, um die Klasse von Iris-Blumen anhand von zwei Merkmalen vorherzusagen. Wir werden die Vorhersagen des DecisionTreeClassifier, KNeighborsClassifier und SVC-Classifier einzeln vergleichen und dann VotingClassifier verwenden, um ihre Vorhersagen zu kombinieren und zu sehen, ob wir bessere Ergebnisse erzielen.

Tipps für die virtuelle Maschine

Nachdem der Start der virtuellen Maschine abgeschlossen ist, klicken Sie in der oberen linken Ecke, um zur Registerkarte Notebook zu wechseln und Jupyter Notebook für die Übung zu nutzen.

Manchmal müssen Sie einige Sekunden warten, bis Jupyter Notebook vollständig geladen ist. Die Validierung von Vorgängen kann aufgrund von Einschränkungen in Jupyter Notebook nicht automatisiert werden.

Wenn Sie bei der Lernphase Probleme haben, können Sie Labby gerne fragen. Geben Sie nach der Sitzung Feedback ab, und wir werden das Problem für Sie prompt beheben.

Daten laden

Wir werden den Iris-Datensatz mit dem datasets-Modul von Scikit-Learn laden. Wir werden nur zwei Merkmale verwenden: Sepal-Länge und Petal-Länge.

from sklearn import datasets

iris = datasets.load_iris()
X = iris.data[:, [0, 2]]
y = iris.target

Klassifizierer trainieren

Wir werden drei Klassifizierer initialisieren: DecisionTreeClassifier, KNeighborsClassifier und SVC. Anschließend werden wir einen VotingClassifier mit diesen drei Klassifizierern initialisieren und ihn verwenden, um die Klasse der Iris-Blumen vorherzusagen.

from sklearn.tree import DecisionTreeClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.svm import SVC
from sklearn.ensemble import VotingClassifier

clf1 = DecisionTreeClassifier(max_depth=4)
clf2 = KNeighborsClassifier(n_neighbors=7)
clf3 = SVC(gamma=0.1, kernel="rbf", probability=True)

eclf = VotingClassifier(
    estimators=[("dt", clf1), ("knn", clf2), ("svc", clf3)],
    voting="soft",
    weights=[2, 1, 2],
)

clf1.fit(X, y)
clf2.fit(X, y)
clf3.fit(X, y)
eclf.fit(X, y)

Die Entscheidungsgrenzen darstellen

Wir werden die Entscheidungsgrenzen für jeden Klassifizierer und den VotingClassifier darstellen.

import matplotlib.pyplot as plt
from itertools import product
from sklearn.inspection import DecisionBoundaryDisplay

f, axarr = plt.subplots(2, 2, sharex="col", sharey="row", figsize=(10, 8))

for idx, clf, tt in zip(
    product([0, 1], [0, 1]),
    [clf1, clf2, clf3, eclf],
    ["Decision Tree (depth=4)", "KNN (k=7)", "Kernel SVM", "Soft Voting"],
):
    DecisionBoundaryDisplay.from_estimator(
        clf, X, alpha=0.4, ax=axarr[idx[0], idx[1]], response_method="predict"
    )
    axarr[idx[0], idx[1]].scatter(X[:, 0], X[:, 1], c=y, s=20, edgecolor="k")
    axarr[idx[0], idx[1]].set_title(tt)

plt.show()

Die Ergebnisse interpretieren

Wir können sehen, dass die Entscheidungsgrenzen für den DecisionTreeClassifier und den KNeighborsClassifier relativ einfach sind, während die Entscheidungsgrenze des SVC komplexer ist. Die Entscheidungsgrenze des VotingClassifier ähnelt der des SVC, ist jedoch in einigen Bereichen weniger komplex.

Zusammenfassung

In diesem Lab haben wir den VotingClassifier von Scikit-Learn verwendet, um die Klasse von Iris-Blumen anhand von zwei Merkmalen vorherzusagen. Wir haben drei Klassifizierer trainiert: DecisionTreeClassifier, KNeighborsClassifier und SVC. Anschließend haben wir den VotingClassifier verwendet, um ihre Vorhersagen zu kombinieren und die Entscheidungsgrenzen geplottet. Wir haben gesehen, dass die Entscheidungsgrenze des VotingClassifier der des SVC ähnelt, jedoch in einigen Bereichen weniger komplex ist.