支持向量机交叉验证介绍 | 数字数据集

简介

本实验在数字数据集上使用支持向量机（SVM）进行交叉验证。这是一个分类问题，任务是从手写数字图像中识别数字。

虚拟机提示

虚拟机启动完成后，点击左上角切换到“笔记本”标签，以访问 Jupyter Notebook 进行练习。

有时，你可能需要等待几秒钟让 Jupyter Notebook 完成加载。由于 Jupyter Notebook 的限制，操作验证无法自动化。

如果你在学习过程中遇到问题，可以随时向 Labby 提问。课程结束后提供反馈，我们会及时为你解决问题。

加载数据集

首先，我们需要从 scikit-learn 中加载数字数据集，并将其拆分为特征和标签。

import numpy as np
from sklearn import datasets

X, y = datasets.load_digits(return_X_y=True)

创建支持向量机（SVM）模型

接下来，我们创建一个具有线性核的 SVM 模型。

from sklearn import svm

svc = svm.SVC(kernel="linear")

定义要测试的超参数值

我们将测试正则化参数 C 的不同值，该参数控制着在最大化间隔和最小化分类误差之间的权衡。我们将测试 10 个在 10^-10 和 1 之间按对数间隔分布的值。

C_s = np.logspace(-10, 0, 10)

执行交叉验证并记录结果

对于每个 C 值，我们进行 10 折交叉验证，并记录分数的均值和标准差。

from sklearn.model_selection import cross_val_score

scores = list()
scores_std = list()
for C in C_s:
    svc.C = C
    this_scores = cross_val_score(svc, X, y, n_jobs=1)
    scores.append(np.mean(this_scores))
    scores_std.append(np.std(this_scores))

绘制结果

最后，我们绘制平均分数作为 C 的函数，并添加误差线以直观显示标准差。

import matplotlib.pyplot as plt

plt.figure()
plt.semilogx(C_s, scores)
plt.semilogx(C_s, np.array(scores) + np.array(scores_std), "b--")
plt.semilogx(C_s, np.array(scores) - np.array(scores_std), "b--")
locs, labels = plt.yticks()
plt.yticks(locs, list(map(lambda x: "%g" % x, locs)))
plt.ylabel("CV score")
plt.xlabel("Parameter C")
plt.ylim(0, 1.1)
plt.show()

总结

在本实验中，我们使用支持向量机（SVM）模型在数字数据集上进行了 10 折交叉验证，测试了正则化参数 C 的不同值。我们绘制了结果，以可视化 C 与平均交叉验证分数之间的关系。这是一种用于调整超参数和评估模型性能的有用技术。

数字数据集上的交叉验证

简介