Сравнение алгоритмов Grid Search и Successive Halving

Введение

Этот лаба сравнивает два популярных алгоритма поиска параметров в машинном обучении: Grid Search и Successive Halving. Мы будем использовать библиотеку scikit-learn в Python для проведения сравнения. Эти алгоритмы используются для нахождения наилучших гиперпараметров для заданной модели машинного обучения.

Советы по ВМ

После завершения запуска ВМ нажмите в левом верхнем углу, чтобы переключиться на вкладку Notebook, чтобы получить доступ к Jupyter Notebook для практики.

Иногда вам может потребоваться подождать несколько секунд, пока Jupyter Notebook не загрузится полностью. Валидация операций не может быть автоматизирована из-за ограничений в Jupyter Notebook.

Если вы сталкиваетесь с проблемами во время обучения, не стесняйтесь обращаться к Labby. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.

Импортируем необходимые библиотеки и датасет

Сначала импортируем необходимые библиотеки и датасет для этой лабораторной работы. Мы будем использовать библиотеку scikit-learn для генерации синтетического датасета и проведения поиска параметров.

from time import time
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.svm import SVC
from sklearn import datasets
from sklearn.model_selection import GridSearchCV
from sklearn.experimental import enable_halving_search_cv
from sklearn.model_selection import HalvingGridSearchCV

rng = np.random.RandomState(0)
X, y = datasets.make_classification(n_samples=1000, random_state=rng)

gammas = [1e-1, 1e-2, 1e-3, 1e-4, 1e-5, 1e-6, 1e-7]
Cs = [1, 10, 100, 1e3, 1e4, 1e5]
param_grid = {"gamma": gammas, "C": Cs}

clf = SVC(random_state=rng)

Выполним Grid Search

Мы будем использовать Grid Search для поиска параметров в модели SVC. Мы будем использовать сгенерированный синтетический датасет и сетку параметров, сгенерированную на шаге 1.

tic = time()
gs = GridSearchCV(estimator=clf, param_grid=param_grid)
gs.fit(X, y)
gs_time = time() - tic

Выполним Successive Halving

Теперь мы будем выполнять поиск параметров с использованием Successive Halving на той же модели SVC и на том же датасете, что и в шаге 2.

tic = time()
gsh = HalvingGridSearchCV(
    estimator=clf, param_grid=param_grid, factor=2, random_state=rng
)
gsh.fit(X, y)
gsh_time = time() - tic

Визуализируем результаты

Теперь мы визуализируем результаты алгоритмов поиска параметров с использованием тепловых карт. Тепловые карты показывают средний тестовый результат для комбинаций параметров для экземпляра SVC. Тепловая карта Successive Halving также показывает итерацию, на которой комбинации были последним использованы.

def make_heatmap(ax, gs, is_sh=False, make_cbar=False):
    """Helper to make a heatmap."""
    results = pd.DataFrame(gs.cv_results_)
    results[["param_C", "param_gamma"]] = results[["param_C", "param_gamma"]].astype(
        np.float64
    )
    if is_sh:
        ## SH dataframe: get mean_test_score values for the highest iter
        scores_matrix = results.sort_values("iter").pivot_table(
            index="param_gamma",
            columns="param_C",
            values="mean_test_score",
            aggfunc="last",
        )
    else:
        scores_matrix = results.pivot(
            index="param_gamma", columns="param_C", values="mean_test_score"
        )

    im = ax.imshow(scores_matrix)

    ax.set_xticks(np.arange(len(Cs)))
    ax.set_xticklabels(["{:.0E}".format(x) for x in Cs])
    ax.set_xlabel("C", fontsize=15)

    ax.set_yticks(np.arange(len(gammas)))
    ax.set_yticklabels(["{:.0E}".format(x) for x in gammas])
    ax.set_ylabel("gamma", fontsize=15)

    ## Rotate the tick labels and set their alignment.
    plt.setp(ax.get_xticklabels(), rotation=45, ha="right", rotation_mode="anchor")

    if is_sh:
        iterations = results.pivot_table(
            index="param_gamma", columns="param_C", values="iter", aggfunc="max"
        ).values
        for i in range(len(gammas)):
            for j in range(len(Cs)):
                ax.text(
                    j,
                    i,
                    iterations[i, j],
                    ha="center",
                    va="center",
                    color="w",
                    fontsize=20,
                )

    if make_cbar:
        fig.subplots_adjust(right=0.8)
        cbar_ax = fig.add_axes([0.85, 0.15, 0.05, 0.7])
        fig.colorbar(im, cax=cbar_ax)
        cbar_ax.set_ylabel("mean_test_score", rotation=-90, va="bottom", fontsize=15)


fig, axes = plt.subplots(ncols=2, sharey=True)
ax1, ax2 = axes

make_heatmap(ax1, gsh, is_sh=True)
make_heatmap(ax2, gs, make_cbar=True)

ax1.set_title("Successive Halving\ntime = {:.3f}s".format(gsh_time), fontsize=15)
ax2.set_title("GridSearch\ntime = {:.3f}s".format(gs_time), fontsize=15)

plt.show()

Резюме

Мы сравнили два популярных алгоритма поиска параметров в машинном обучении: Grid Search и Successive Halving. Мы использовали библиотеку scikit-learn в Python для проведения сравнения. Мы сгенерировали синтетический датасет и провели поиск параметров на модели SVC с использованием обоих алгоритмов. Затем мы визуализировали результаты с использованием тепловых карт. Мы увидели, что алгоритм Successive Halving способен находить комбинации параметров, которые точны так же, как Grid Search, за гораздо меньшее время.

Сравнение Grid Search и Successive Halving