验证曲线：绘制分数以评估模型

简介

在机器学习中，每个估计器都有其优点和缺点。估计器的泛化误差可以分解为偏差、方差和噪声。估计器的偏差是不同训练集的平均误差，而方差表示其对不同训练集的敏感性。噪声是数据的一种属性。

在本实验中，我们将探索如何使用验证曲线来评估机器学习模型的性能。验证曲线使我们能够绘制单个超参数对训练分数和验证分数的影响，帮助我们确定模型对于不同超参数值是过拟合还是欠拟合。

虚拟机使用提示

虚拟机启动完成后，点击左上角切换到“笔记本”标签页，以访问 Jupyter Notebook 进行练习。

有时，你可能需要等待几秒钟让 Jupyter Notebook 完成加载。由于 Jupyter Notebook 的限制，操作验证无法自动化。

如果你在学习过程中遇到问题，随时向 Labby 提问。课程结束后提供反馈，我们将立即为你解决问题。

Skills Graph

导入所需库并加载数据

让我们先导入必要的库并加载一个数据集。在这个例子中，我们将使用鸢尾花数据集。

import numpy as np
from sklearn.model_selection import validation_curve
from sklearn.datasets import load_iris
from sklearn.linear_model import Ridge

np.random.seed(0)
X, y = load_iris(return_X_y=True)

打乱数据

为确保我们分析中的随机性，让我们打乱数据集中样本的顺序。

indices = np.arange(y.shape[0])
np.random.shuffle(indices)
X, y = X[indices], y[indices]

绘制验证曲线

现在，让我们使用 validation_curve 函数绘制验证曲线。我们将使用 Ridge 估计器，并在一系列值的范围内改变 alpha 超参数。

param_range = np.logspace(-7, 3, 3)
train_scores, valid_scores = validation_curve(
    Ridge(), X, y, param_name="alpha", param_range=param_range, cv=5)

总结

在本实验中，我们探讨了验证曲线的概念以及如何使用它们来评估机器学习模型。通过绘制不同超参数值的训练分数和验证分数，我们可以确定模型是过拟合还是欠拟合。这些信息有助于我们为模型选择最佳超参数并提高其性能。