Введение
В этом практическом занятии мы научимся объединять несколько методов извлечения признаков с использованием библиотеки scikit-learn для Python. Мы будем использовать трансформер FeatureUnion для комбинирования признаков, полученных с помощью PCA и одномерного отбора. Комбинирование признаков с использованием этого трансформера позволяет проводить кросс-валидацию и сетевые поиски на всей цепочке.
Советы по работе с ВМ
После запуска виртуальной машины кликните в левом верхнем углу, чтобы переключиться на вкладку Ноутбук и приступить к практике в Jupyter Notebook.
Иногда может потребоваться подождать несколько секунд, пока Jupyter Notebook полностью загрузится. Валидация операций не может быть автоматизирована из-за ограничений Jupyter Notebook.
Если вы столкнетесь с проблемами во время обучения, не стесняйтесь обращаться к Labby. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.
Импорт библиотек
Начнем с импорта необходимых библиотек. Будем использовать классы Pipeline, FeatureUnion, GridSearchCV, SVC, load_iris, PCA и SelectKBest из scikit-learn.
from sklearn.pipeline import Pipeline, FeatureUnion
from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC
from sklearn.datasets import load_iris
from sklearn.decomposition import PCA
from sklearn.feature_selection import SelectKBest
Загрузка датасета
Далее мы загрузим датасет iris с использованием функции load_iris.
iris = load_iris()
X, y = iris.data, iris.target
Извлечение признаков
Поскольку датасет iris имеет высокую размерность, мы выполним извлечение признаков с использованием PCA и одномерного отбора.
PCA
Мы будем использовать PCA для уменьшения размерности датасета.
pca = PCA(n_components=2)
Одномерный отбор
Мы будем использовать одномерный отбор для выбора наиболее значимых признаков.
selection = SelectKBest(k=1)
Объединенные признаки
Мы объединим признаки, полученные с использованием PCA и одномерного отбора, с помощью трансформера FeatureUnion.
combined_features = FeatureUnion([("pca", pca), ("univ_select", selection)])
Преобразованный датасет
Мы будем использовать объединенные признаки для преобразования датасета.
X_features = combined_features.fit(X, y).transform(X)
print("Combined space has", X_features.shape[1], "features")
Обучение модели
Мы обучим модель на основе методов опорных векторов (SVM) с использованием преобразованного датасета.
svm = SVC(kernel="linear")
Грид-поиск
Мы проведем сеточный поиск по гиперпараметрам конвейера с использованием GridSearchCV.
pipeline = Pipeline([("features", combined_features), ("svm", svm)])
param_grid = dict(
features__pca__n_components=[1, 2, 3],
features__univ_select__k=[1, 2],
svm__C=[0.1, 1, 10],
)
grid_search = GridSearchCV(pipeline, param_grid=param_grid, verbose=10)
grid_search.fit(X, y)
print(grid_search.best_estimator_)
Резюме
В этом практическом занятии мы узнали, как объединять несколько методов извлечения признаков с использованием библиотеки scikit - learn для Python. Мы использовали трансформер FeatureUnion для объединения признаков, полученных с помощью PCA и одномерного отбора. Также мы обучили модель на основе методов опорных векторов (SVM) и провели сеточный поиск по гиперпараметрам конвейера.