使用 RBM 特征进行数字分类

简介

本实验着重于使用伯努利受限玻尔兹曼机（RBM）对手写数字进行分类。RBM 特征提取器与逻辑回归分类器相结合来预测数字。所使用的数据集是灰度图像数据，其中像素值可解释为白色背景上的黑色程度。

虚拟机使用提示

虚拟机启动完成后，点击左上角切换到“笔记本”标签页，以访问 Jupyter Notebook 进行练习。

有时，你可能需要等待几秒钟让 Jupyter Notebook 完成加载。由于 Jupyter Notebook 的限制，操作验证无法自动化。

如果你在学习过程中遇到问题，随时向 Labby 提问。课程结束后提供反馈，我们会及时为你解决问题。

Skills Graph

数据准备

在这一步中，我们准备用于训练和测试的数据。我们使用sklearn.datasets中的load_digits函数来获取数据集。然后，我们通过在每个方向上对训练数据进行 1 像素的线性偏移来人为地生成更多带标签的数据。我们将数据缩放到 0 到 1 之间。

import numpy as np
from scipy.ndimage import convolve
from sklearn import datasets
from sklearn.preprocessing import minmax_scale
from sklearn.model_selection import train_test_split

def nudge_dataset(X, Y):
    """
    此函数通过将 X 中的 8x8 图像向左、右、下、上移动 1 像素，生成一个比原始数据集大 5 倍的数据集
    """
    direction_vectors = [
        [[0, 1, 0], [0, 0, 0], [0, 0, 0]],
        [[0, 0, 0], [1, 0, 0], [0, 0, 0]],
        [[0, 0, 0], [0, 0, 1], [0, 0, 0]],
        [[0, 0, 0], [0, 0, 0], [0, 1, 0]],
    ]

    def shift(x, w):
        return convolve(x.reshape((8, 8)), mode="constant", weights=w).ravel()

    X = np.concatenate(
        [X] + [np.apply_along_axis(shift, 1, X, vector) for vector in direction_vectors]
    )
    Y = np.concatenate([Y for _ in range(5)], axis=0)
    return X, Y

X, y = datasets.load_digits(return_X_y=True)
X = np.asarray(X, "float32")
X, Y = nudge_dataset(X, y)
X = minmax_scale(X, feature_range=(0, 1))  ## 0-1 缩放

X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2, random_state=0)

模型定义

在这一步中，我们使用伯努利受限玻尔兹曼机（BernoulliRBM）特征提取器和逻辑回归分类器来定义分类管道。我们分别使用sklearn.neural_network和sklearn.linear_model模块中的BernoulliRBM和LogisticRegression类。然后，我们创建一个管道对象rbm_features_classifier来组合这两个模型。

from sklearn import linear_model
from sklearn.neural_network import BernoulliRBM
from sklearn.pipeline import Pipeline

logistic = linear_model.LogisticRegression(solver="newton-cg", tol=1)
rbm = BernoulliRBM(random_state=0, verbose=True)

rbm_features_classifier = Pipeline(steps=[("rbm", rbm), ("logistic", logistic)])

训练

在这一步中，我们训练上一步定义的管道模型。我们设置模型的超参数（学习率、隐藏层大小、正则化），然后将训练数据拟合到模型中。

from sklearn.base import clone

## 超参数。这些是通过交叉验证设置的，
## 使用 GridSearchCV。这里为了节省时间我们不进行交叉验证。
rbm.learning_rate = 0.06
rbm.n_iter = 10

## 更多的组件往往会带来更好的预测性能，但拟合时间会更长
rbm.n_components = 100
logistic.C = 6000

## 训练 RBM-逻辑回归管道
rbm_features_classifier.fit(X_train, Y_train)

评估

在这一步中，我们在测试数据集上评估模型的性能。我们使用sklearn.metrics模块中的classification_report函数为管道模型和逻辑回归模型生成分类报告。

from sklearn import metrics

Y_pred = rbm_features_classifier.predict(X_test)
print(
    "使用 RBM 特征的逻辑回归:\n%s\n"
    % (metrics.classification_report(Y_test, Y_pred))
)

## 直接在像素上训练逻辑回归分类器
raw_pixel_classifier = clone(logistic)
raw_pixel_classifier.C = 100.0
raw_pixel_classifier.fit(X_train, Y_train)

Y_pred = raw_pixel_classifier.predict(X_test)
print(
    "使用原始像素特征的逻辑回归:\n%s\n"
    % (metrics.classification_report(Y_test, Y_pred))
)

绘图

在这一步中，我们绘制由受限玻尔兹曼机（RBM）提取的 100 个组件。我们使用matplotlib.pyplot模块来绘制图像。

import matplotlib.pyplot as plt

plt.figure(figsize=(4.2, 4))
for i, comp in enumerate(rbm.components_):
    plt.subplot(10, 10, i + 1)
    plt.imshow(comp.reshape((8, 8)), cmap=plt.cm.gray_r, interpolation="nearest")
    plt.xticks(())
    plt.yticks(())
plt.suptitle("RBM 提取的 100 个组件", fontsize=16)
plt.subplots_adjust(0.08, 0.02, 0.92, 0.85, 0.08, 0.23)

plt.show()

总结

在本实验中，我们学习了如何使用伯努利受限玻尔兹曼机（RBM）和逻辑回归对手写数字进行分类。我们还学习了如何使用分类报告评估模型的性能，以及如何绘制由 RBM 提取的组件。