Evaluierung der Qualität von Machine Learning-Modellen

Einführung

In der maschinellen Lerntechnik ist es wichtig, die Qualität der Vorhersagen eines Modells zu bewerten. Dies hilft uns zu verstehen, wie gut das Modell performt und ob es vertrauenswürdig ist, um genaue Vorhersagen zu treffen. Die scikit-learn-Bibliothek bietet mehrere Metriken und Bewertungsverfahren, um die Qualität der Vorhersagen zu quantifizieren.

In diesem Lab werden wir drei verschiedene APIs von scikit-learn für die Modellbewertung untersuchen: die Estimator-Score-Methode, das scoring-Parameter und die Metrikfunktionen.

Tipps für die VM

Nachdem der VM-Start abgeschlossen ist, klicken Sie in der oberen linken Ecke, um zur Registerkarte Notebook zu wechseln und Jupyter Notebook für die Übung zu nutzen.

Manchmal müssen Sie einige Sekunden warten, bis Jupyter Notebook vollständig geladen ist. Die Validierung von Vorgängen kann aufgrund von Einschränkungen in Jupyter Notebook nicht automatisiert werden.

Wenn Sie während des Lernens Probleme haben, können Sie Labby gerne fragen. Geben Sie nach der Sitzung Feedback ab, und wir werden das Problem für Sie prompt beheben.

Skills Graph

Estimator-Score-Methode

Die Estimator-Score-Methode ist ein standardmäßiges Bewertungsmaßstab, den scikit-learn für jeden Estimator zur Verfügung stellt. Sie berechnet einen Score, der die Qualität der Vorhersagen des Modells repräsentiert. Weitere Informationen hierzu finden Sie in der Dokumentation jedes Estimators.

Hier ist ein Beispiel für die Verwendung der score-Methode für einen Estimator:

from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_digits

X, y = load_digits(return_X_y=True)
clf = LogisticRegression()
clf.fit(X, y)

score = clf.score(X, y)
print("Score:", score)

Scoring-Parameter

Scikit-learn bietet in mehreren Modellbewertungs-Tools, wie Kreuzvalidierung und Gitter-Suche, einen scoring-Parameter. Der scoring-Parameter steuert die Metrik, die während der Bewertung auf die Estimatoren angewandt wird.

Hier ist ein Beispiel für die Verwendung des scoring-Parameters mit Kreuzvalidierung:

from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_digits

X, y = load_digits(return_X_y=True)
clf = LogisticRegression()

scores = cross_val_score(clf, X, y, cv=5, scoring='accuracy')
print("Scores:", scores)

Metrikfunktionen

Das scikit-learn-metrics-Modul implementiert mehrere Funktionen zur Beurteilung der Vorhersagefehler für spezifische Zwecke. Diese Funktionen können verwendet werden, um die Qualität der Vorhersagen eines Modells zu berechnen.

Hier ist ein Beispiel für die Verwendung der accuracy_score-Funktion aus dem metrics-Modul:

from sklearn.metrics import accuracy_score
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split

X, y = load_digits(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

clf = LogisticRegression()
clf.fit(X_train, y_train)

y_pred = clf.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)

Zusammenfassung

In diesem Lab haben wir uns mit drei verschiedenen APIs von scikit-learn für die Modellbewertung beschäftigt: der Estimator-Score-Methode, dem scoring-Parameter und den Metrikfunktionen. Diese APIs ermöglichen es uns, die Qualität der Vorhersagen eines Modells zu bewerten und zu verstehen, wie gut das Modell performt.