Отбор признаков в задачах с одним признаком | Классификатор на основе векторов поддержки | Набор данных iris

Введение

В этом практическом занятии показано, как выполнять отбор признаков в задачах с одним признаком перед запуском классификатора на основе векторов поддержки (SVC), чтобы повысить качество классификации. Будем использовать датасет iris (4 признака) и добавить 36 неинформативных признаков. Мы увидим, что модель достигает наилучшего качества, когда выбирается около 10% признаков.

Советы по использованию ВМ

После запуска виртуальной машины кликните в левом верхнем углу, чтобы переключиться на вкладку Notebook и приступить к практике с использованием Jupyter Notebook.

Иногда может потребоваться подождать несколько секунд, пока Jupyter Notebook полностью загрузится. Проверка операций не может быть автоматизирована из-за ограничений Jupyter Notebook.

Если вы сталкиваетесь с проблемами во время обучения, не стесняйтесь обращаться к Labby. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.

Загрузка данных

Начнем с загрузки датасета iris и добавления к нему 36 неинформативных признаков.

import numpy as np
from sklearn.datasets import load_iris

X, y = load_iris(return_X_y=True)

## Add non-informative features
rng = np.random.RandomState(0)
X = np.hstack((X, 2 * rng.random((X.shape[0], 36))))

Создание конвейера

Далее создадим конвейер, состоящий из трансформера отбора признаков, масштабировщика и экземпляра SVM, которые мы объединим, чтобы получить полноценный оценщик.

from sklearn.pipeline import Pipeline
from sklearn.feature_selection import SelectPercentile, f_classif
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC

clf = Pipeline(
    [
        ("anova", SelectPercentile(f_classif)),
        ("scaler", StandardScaler()),
        ("svc", SVC(gamma="auto")),
    ]
)

Построение графика оценки кросс-валидации

Построим график оценки кросс-валидации в зависимости от процента признаков.

import matplotlib.pyplot as plt
from sklearn.model_selection import cross_val_score

score_means = list()
score_stds = list()
percentiles = (1, 3, 6, 10, 15, 20, 30, 40, 60, 80, 100)

for percentile in percentiles:
    clf.set_params(anova__percentile=percentile)
    this_scores = cross_val_score(clf, X, y)
    score_means.append(this_scores.mean())
    score_stds.append(this_scores.std())

plt.errorbar(percentiles, score_means, np.array(score_stds))
plt.title("Performance of the SVM-Anova varying the percentile of features selected")
plt.xticks(np.linspace(0, 100, 11, endpoint=True))
plt.xlabel("Percentile")
plt.ylabel("Accuracy Score")
plt.axis("tight")
plt.show()

Резюме

В этом практическом занятии мы узнали, как выполнять отбор признаков в задачах с одним признаком перед запуском классификатора на основе векторов поддержки (SVC), чтобы повысить качество классификации. Мы использовали датасет iris (4 признака) и добавили 36 неинформативных признаков. Мы обнаружили, что наша модель достигла наилучшего качества, когда выбирали около 10% признаков.

Отбор признаков для SVC на наборе данных iris