Кросс-валидация на наборе данных digits

Введение

В этом лабораторном задании используется кросс-валидация с использованием машины опорных векторов (SVM) на наборе данных digits. Это задача классификации, где задача заключается в идентификации цифр на изображениях рукописных цифр.

Советы по использованию ВМ

После завершения запуска ВМ нажмите в левом верхнем углу, чтобы переключиться на вкладку Notebook и получить доступ к Jupyter Notebook для практики.

Иногда вам может потребоваться подождать несколько секунд, пока Jupyter Notebook не загрузится полностью. Валидация операций не может быть автоматизирована из-за ограничений Jupyter Notebook.

Если вы сталкиваетесь с проблемами во время обучения, не стесняйтесь обращаться к Labby. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.

Skills Graph

Загрузка набора данных

Сначала нам нужно загрузить набор данных digits из scikit-learn и разделить его на признаки и метки.

import numpy as np
from sklearn import datasets

X, y = datasets.load_digits(return_X_y=True)

Создание модели Support Vector Machine (SVM)

Далее мы создаем модель SVM с линейным ядром.

from sklearn import svm

svc = svm.SVC(kernel="linear")

Определение значений гиперпараметров для тестирования

Мы будем тестировать разные значения параметра регуляризации C, который контролирует компромисс между максимизацией отступа и минимизацией ошибки классификации. Мы будем тестировать 10 значений, расположенных логарифмически между 10^-10 и 1.

C_s = np.logspace(-10, 0, 10)

Выполнить кросс-валидацию и записать результаты

Для каждого значения C мы выполняем 10-кратную кросс-валидацию и записываем среднее значение и стандартное отклонение оценок.

from sklearn.model_selection import cross_val_score

scores = list()
scores_std = list()
for C in C_s:
    svc.C = C
    this_scores = cross_val_score(svc, X, y, n_jobs=1)
    scores.append(np.mean(this_scores))
    scores_std.append(np.std(this_scores))

Построить графики результатов

Наконец, мы строим графики средних оценок в зависимости от значения C и также добавляем отклонения, чтобы визуализировать стандартное отклонение.

import matplotlib.pyplot as plt

plt.figure()
plt.semilogx(C_s, scores)
plt.semilogx(C_s, np.array(scores) + np.array(scores_std), "b--")
plt.semilogx(C_s, np.array(scores) - np.array(scores_std), "b--")
locs, labels = plt.yticks()
plt.yticks(locs, list(map(lambda x: "%g" % x, locs)))
plt.ylabel("CV score")
plt.xlabel("Parameter C")
plt.ylim(0, 1.1)
plt.show()

Резюме

В этом практическом занятии мы провели 10-кратную кросс-валидацию с использованием модели SVM на наборе данных digits, тестируя разные значения параметра регуляризации C. Мы построили графики результатов, чтобы визуализировать зависимость между C и средним значением оценки кросс-валидации. Это полезный метод настройки гиперпараметров и оценки качества модели.