Введение
В этом лабораторном занятии рассматривается применение Бернуллиевской ограниченной Больцмановой машины (Restricted Boltzmann Machine, RBM) для классификации рукописных цифр. Экстрактор признаков RBM комбинируется с логистической регрессионной классификатором для предсказания цифр. Используемый датасет представляет собой данные о черно-белых изображениях, где значения пикселей могут быть интерпретированы как степени черноты на белом фоне.
Советы по использованию ВМ
После запуска ВМ нажмите в левом верхнем углу, чтобы переключиться на вкладку Ноутбук, чтобы получить доступ к Jupyter Notebook для практики.
Иногда вам может потребоваться подождать несколько секунд, пока Jupyter Notebook не загрузится полностью. Валидация операций не может быть автоматизирована из-за ограничений Jupyter Notebook.
Если вы сталкиваетесь с проблемами во время обучения, не стесняйтесь обращаться к Лэби. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.
Подготовка данных
В этом шаге мы готовим данные для обучения и тестирования. Мы используем функцию load_digits из sklearn.datasets, чтобы получить датасет. Затем искусственно генерируем больше помеченных данных, путём изменения обучающих данных с помощью линейных сдвигов на 1 пиксель в каждом направлении. Мы масштабируем данные в диапазоне от 0 до 1.
import numpy as np
from scipy.ndimage import convolve
from sklearn import datasets
from sklearn.preprocessing import minmax_scale
from sklearn.model_selection import train_test_split
def nudge_dataset(X, Y):
"""
This produces a dataset 5 times bigger than the original one,
by moving the 8x8 images in X around by 1px to left, right, down, up
"""
direction_vectors = [
[[0, 1, 0], [0, 0, 0], [0, 0, 0]],
[[0, 0, 0], [1, 0, 0], [0, 0, 0]],
[[0, 0, 0], [0, 0, 1], [0, 0, 0]],
[[0, 0, 0], [0, 0, 0], [0, 1, 0]],
]
def shift(x, w):
return convolve(x.reshape((8, 8)), mode="constant", weights=w).ravel()
X = np.concatenate(
[X] + [np.apply_along_axis(shift, 1, X, vector) for vector in direction_vectors]
)
Y = np.concatenate([Y for _ in range(5)], axis=0)
return X, Y
X, y = datasets.load_digits(return_X_y=True)
X = np.asarray(X, "float32")
X, Y = nudge_dataset(X, y)
X = minmax_scale(X, feature_range=(0, 1)) ## 0-1 scaling
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2, random_state=0)
Определение модели
В этом шаге мы определяем конвейер классификации с использованием экстрактора признаков BernoulliRBM и логистической регрессионной классификатором. Мы используем классы BernoulliRBM и LogisticRegression из модулей sklearn.neural_network и sklearn.linear_model соответственно. Затем мы создаём объект конвейера rbm_features_classifier, чтобы объединить два модели.
from sklearn import linear_model
from sklearn.neural_network import BernoulliRBM
from sklearn.pipeline import Pipeline
logistic = linear_model.LogisticRegression(solver="newton-cg", tol=1)
rbm = BernoulliRBM(random_state=0, verbose=True)
rbm_features_classifier = Pipeline(steps=[("rbm", rbm), ("logistic", logistic)])
Обучение
В этом шаге мы обучаем модель конвейера, определённую на предыдущем шаге. Мы настраиваем гиперпараметры модели (скорость обучения, размер скрытого слоя, регуляризация), а затем подгоняем обучающие данные под модель.
from sklearn.base import clone
## Hyper-parameters. These were set by cross-validation,
## using a GridSearchCV. Here we are not performing cross-validation to
## save time.
rbm.learning_rate = 0.06
rbm.n_iter = 10
## More components tend to give better prediction performance, but larger
## fitting time
rbm.n_components = 100
logistic.C = 6000
## Training RBM-Logistic Pipeline
rbm_features_classifier.fit(X_train, Y_train)
Оценка
В этом шаге мы оцениваем производительность модели на тестовом наборе данных. Мы используем функцию classification_report из модуля sklearn.metrics, чтобы сгенерировать отчёт о классификации как для модели конвейера, так и для модели логистической регрессии.
from sklearn import metrics
Y_pred = rbm_features_classifier.predict(X_test)
print(
"Logistic regression using RBM features:\n%s\n"
% (metrics.classification_report(Y_test, Y_pred))
)
## Training the Logistic regression classifier directly on the pixel
raw_pixel_classifier = clone(logistic)
raw_pixel_classifier.C = 100.0
raw_pixel_classifier.fit(X_train, Y_train)
Y_pred = raw_pixel_classifier.predict(X_test)
print(
"Logistic regression using raw pixel features:\n%s\n"
% (metrics.classification_report(Y_test, Y_pred))
)
Построение графиков
В этом шаге мы строим графики для 100 компонентов, извлечённых RBM. Мы используем модуль matplotlib.pyplot для построения изображений.
import matplotlib.pyplot as plt
plt.figure(figsize=(4.2, 4))
for i, comp in enumerate(rbm.components_):
plt.subplot(10, 10, i + 1)
plt.imshow(comp.reshape((8, 8)), cmap=plt.cm.gray_r, interpolation="nearest")
plt.xticks(())
plt.yticks(())
plt.suptitle("100 компонентов, извлечённых RBM", fontsize=16)
plt.subplots_adjust(0.08, 0.02, 0.92, 0.85, 0.08, 0.23)
plt.show()
Резюме
В этом практическом занятии мы узнали, как использовать Бернуллиевскую ограниченную Больцмановскую машину (RBM) совместно с логистической регрессией для классификации рукописных цифр. Мы также узнали, как оценивать производительность модели с использованием отчёта о классификации и как строить графики для компонентов, извлечённых RBM.