Das Optimieren von Hyperparametern eines Schätzers

Einführung

Hyperparameter sind Parameter, die von einem Schätzer nicht direkt gelernt werden. Sie werden als Argumente an den Konstruktor der Schätzerklassen übergeben. Das Anpassen der Hyperparameter eines Schätzers ist ein wichtiger Schritt bei der Konstruktion effektiver maschineller Lernmodelle. Es beinhaltet das Finden der optimalen Kombination von Hyperparametern, die zu der besten Leistung des Modells führen.

Scikit-learn bietet mehrere Werkzeuge, um die besten Hyperparameter zu suchen: GridSearchCV und RandomizedSearchCV. In diesem Lab werden wir den Prozess des Anpassens von Hyperparametern mit diesen Werkzeugen durchgehen.

VM-Tipps

Nachdem der VM-Start abgeschlossen ist, klicken Sie in der oberen linken Ecke, um zur Registerkarte Notebook zu wechseln und Jupyter Notebook für die Übung zu nutzen.

Manchmal müssen Sie einige Sekunden warten, bis Jupyter Notebook vollständig geladen ist. Die Validierung von Vorgängen kann aufgrund von Einschränkungen in Jupyter Notebook nicht automatisiert werden.

Wenn Sie bei der Lernphase Probleme haben, können Sie Labby gerne fragen. Geben Sie nach der Sitzung Feedback ab, und wir werden das Problem für Sie prompt beheben.

Skills Graph

Importieren der erforderlichen Bibliotheken

Zunächst müssen wir die erforderlichen Bibliotheken für unsere Analyse importieren. Wir werden sklearn.model_selection verwenden, um die Hyperparameteroptimierung durchzuführen.

import numpy as np
from sklearn.model_selection import GridSearchCV, RandomizedSearchCV

Laden des Datensatzes

Als nächstes laden wir den Datensatz, mit dem wir arbeiten werden. Wir können für diese Übung jeden beliebigen Datensatz verwenden.

from sklearn.datasets import load_iris

## Lade den Iris-Datensatz
iris = load_iris()

## Teile die Daten in Merkmale und Ziel auf
X = iris.data
y = iris.target

Definieren des Schätzers und des Parameterrahmens

Jetzt müssen wir den Schätzer definieren, den wir optimieren möchten, und den Parameterrahmen, in dem wir suchen möchten. Der Parameterrahmen gibt die Werte an, die wir für jeden Hyperparameter versuchen möchten.

from sklearn.svm import SVC

## Erstelle eine Instanz des Support-Vector-Classifiers
svc = SVC()

## Definiere den Parameterrahmen
param_grid = {'C': [0.1, 1, 10, 100], 'gamma': [0.1, 0.01, 0.001], 'kernel': ['linear', 'rbf']}

Führen Sie eine Grid-Search mit Kreuzvalidierung durch

Die Grid-Search sucht erschöpfend durch alle möglichen Kombinationen von Hyperparametern im angegebenen Parameterrahmen. Sie bewertet die Leistung jeder Kombination mithilfe der Kreuzvalidierung.

## Erstelle eine Instanz von GridSearchCV
grid_search = GridSearchCV(svc, param_grid, cv=5)

## Passt die Daten an, um die Grid-Search durchzuführen
grid_search.fit(X, y)

## Druckt die beste Kombination von Hyperparametern
print('Best hyperparameters:', grid_search.best_params_)

Führen Sie eine zufällige Suche mit Kreuzvalidierung durch

Die zufällige Suche wählt zufällig eine Teilmenge des Parameterrahmens aus und bewertet die Leistung jeder Kombination mithilfe der Kreuzvalidierung. Sie ist nützlich, wenn der Parameterspace groß ist und eine erschöpfende Suche nicht durchführbar ist.

## Erstelle eine Instanz von RandomizedSearchCV
random_search = RandomizedSearchCV(svc, param_grid, cv=5, n_iter=10, random_state=0)

## Passt die Daten an, um die zufällige Suche durchzuführen
random_search.fit(X, y)

## Druckt die beste Kombination von Hyperparametern
print('Best hyperparameters:', random_search.best_params_)

Zusammenfassung

In diesem Lab haben wir gelernt, wie man die Hyperparameter eines Schätzers mit GridSearchCV und RandomizedSearchCV optimiert. Wir haben den Schätzer und den Parameterrahmen definiert und dann jeweils eine Grid-Search und eine zufällige Suche durchgeführt, um die beste Kombination von Hyperparametern zu finden. Das Optimieren von Hyperparametern ist ein wichtiger Schritt bei der Entwicklung von Machine-Learning-Modellen, um deren Leistung zu verbessern.