使用高斯过程分类进行概率预测

简介

在本实验中，我们将探索使用径向基函数（RBF）核和不同超参数选择的高斯过程分类（GPC）。我们将生成数据，使用固定和优化后的超参数训练GPC模型，并绘制后验概率和对数边缘似然景观。我们还将评估模型的准确性和对数损失。

虚拟机使用提示

虚拟机启动完成后，点击左上角切换到“笔记本”标签，以访问Jupyter Notebook进行练习。

有时，你可能需要等待几秒钟让Jupyter Notebook完成加载。由于Jupyter Notebook的限制，操作验证无法自动化。

如果你在学习过程中遇到问题，请随时向Labby提问。课程结束后提供反馈，我们将立即为你解决问题。

Skills Graph

导入库

我们将为本实验导入必要的库。

import numpy as np
from matplotlib import pyplot as plt
from sklearn.metrics import accuracy_score, log_loss
from sklearn.gaussian_process import GaussianProcessClassifier
from sklearn.gaussian_process.kernels import RBF

生成数据

我们将使用NumPy生成数据。我们将生成100个数据点，其在0到5之间均匀分布。我们将阈值设置为2.5，并使用布尔表达式生成标签。我们将前50个数据点用作训练数据，其余的用作测试数据。

train_size = 50
rng = np.random.RandomState(0)
X = rng.uniform(0, 5, 100)[:, np.newaxis]
y = np.array(X[:, 0] > 2.5, dtype=int)

训练模型

我们将使用固定和优化后的超参数来训练高斯过程分类（GPC）模型。我们将打印模型的对数边缘似然、准确率和对数损失。

## 固定超参数
gp_fix = GaussianProcessClassifier(kernel=1.0 * RBF(length_scale=1.0), optimizer=None)
gp_fix.fit(X[:train_size], y[:train_size])

## 优化后的超参数
gp_opt = GaussianProcessClassifier(kernel=1.0 * RBF(length_scale=1.0))
gp_opt.fit(X[:train_size], y[:train_size])

## 结果
print("对数边缘似然（初始）: %.3f" % gp_fix.log_marginal_likelihood(gp_fix.kernel_.theta))
print("对数边缘似然（优化后）: %.3f" % gp_opt.log_marginal_likelihood(gp_opt.kernel_.theta))
print("准确率: %.3f（初始） %.3f（优化后）" % (accuracy_score(y[:train_size], gp_fix.predict(X[:train_size])), accuracy_score(y[:train_size], gp_opt.predict(X[:train_size]))))
print("对数损失: %.3f（初始） %.3f（优化后）" % (log_loss(y[:train_size], gp_fix.predict_proba(X[:train_size])[:, 1]), log_loss(y[:train_size], gp_opt.predict_proba(X[:train_size])[:, 1])))

绘制后验概率

我们将使用固定和优化后的超参数来绘制高斯过程分类（GPC）模型的后验概率。我们将绘制训练数据、测试数据以及类别1的预测概率。我们还将为这些图添加标签。

## 绘制后验概率
plt.figure()
plt.scatter(X[:train_size, 0], y[:train_size], c="k", label="训练数据", edgecolors=(0, 0, 0))
plt.scatter(X[train_size:, 0], y[train_size:], c="g", label="测试数据", edgecolors=(0, 0, 0))
X_ = np.linspace(0, 5, 100)
plt.plot(X_, gp_fix.predict_proba(X_[:, np.newaxis])[:, 1], "r", label="初始核函数: %s" % gp_fix.kernel_)
plt.plot(X_, gp_opt.predict_proba(X_[:, np.newaxis])[:, 1], "b", label="优化后的核函数: %s" % gp_opt.kernel_)
plt.xlabel("特征")
plt.ylabel("类别1概率")
plt.xlim(0, 5)
plt.ylim(-0.25, 1.5)
plt.legend(loc="最佳位置")

绘制对数边缘似然曲面

我们将使用不同的超参数选择来绘制高斯过程分类（GPC）模型的对数边缘似然曲面。我们将突出显示在前一个图中使用的超参数。我们还将为这些图添加标签。

## 绘制对数边缘似然曲面
plt.figure()
theta0 = np.logspace(0, 8, 30)
theta1 = np.logspace(-1, 1, 29)
Theta0, Theta1 = np.meshgrid(theta0, theta1)
LML = [[gp_opt.log_marginal_likelihood(np.log([Theta0[i, j], Theta1[i, j]])) for i in range(Theta0.shape[0])] for j in range(Theta0.shape[1])]
LML = np.array(LML).T
plt.plot(np.exp(gp_fix.kernel_.theta)[0], np.exp(gp_fix.kernel_.theta)[1], "ko", zorder=10)
plt.plot(np.exp(gp_opt.kernel_.theta)[0], np.exp(gp_opt.kernel_.theta)[1], "ko", zorder=10)
plt.pcolor(Theta0, Theta1, LML)
plt.xscale("log")
plt.yscale("log")
plt.colorbar()
plt.xlabel("幅度")
plt.ylabel("长度尺度")
plt.title("对数边缘似然")

总结

在本实验中，我们探索了使用径向基函数（RBF）核以及不同超参数选择的高斯过程分类（GPC）。我们生成了数据，使用固定和优化后的超参数训练了GPC模型，并绘制了后验概率和对数边缘似然曲面。我们还评估了模型的准确率和对数损失。