F 检验与互信息的比较

简介

在本实验中，我们将了解单变量 F 检验统计量和互信息之间的差异。我们将使用 scikit-learn 库对数据集执行 F 检验和互信息回归，并比较结果。

虚拟机使用提示

虚拟机启动完成后，点击左上角切换到“笔记本”标签，以访问 Jupyter Notebook 进行练习。

有时，你可能需要等待几秒钟让 Jupyter Notebook 完成加载。由于 Jupyter Notebook 的限制，操作验证无法自动化。

如果你在学习过程中遇到问题，请随时向 Labby 提问。课程结束后提供反馈，我们将立即为你解决问题。

导入库

我们将首先为本实验导入所需的库。本实验我们将使用 numpy、matplotlib 和 scikit-learn。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.feature_selection import f_regression, mutual_info_regression

创建数据集

我们将创建一个包含 3 个特征的数据集，其中第一个特征与目标具有线性关系，第二个特征与目标具有非线性关系，第三个特征则完全不相关。我们将为这个数据集创建 1000 个样本。

np.random.seed(0)
X = np.random.rand(1000, 3)
y = X[:, 0] + np.sin(6 * np.pi * X[:, 1]) + 0.1 * np.random.randn(1000)

计算 F 检验

现在我们将计算每个特征的 F 检验分数。F 检验仅捕捉变量之间的线性相关性。我们将通过将 F 检验分数除以最大 F 检验分数来对其进行归一化。

f_test, _ = f_regression(X, y)
f_test /= np.max(f_test)

计算互信息

现在我们将计算每个特征的互信息分数。互信息可以捕捉变量之间的任何类型的依赖关系。我们将通过将互信息分数除以最大互信息分数来对其进行归一化。

mi = mutual_info_regression(X, y)
mi /= np.max(mi)

绘制结果

现在我们将绘制目标变量与每个特征的依赖关系，以及每个特征的 F 检验和互信息分数。

plt.figure(figsize=(15, 5))
for i in range(3):
    plt.subplot(1, 3, i + 1)
    plt.scatter(X[:, i], y, edgecolor="black", s=20)
    plt.xlabel("$x_{}$".format(i + 1), fontsize=14)
    if i == 0:
        plt.ylabel("$y$", fontsize=14)
    plt.title("F-test={:.2f}, MI={:.2f}".format(f_test[i], mi[i]), fontsize=16)
plt.show()

总结

在本实验中，我们了解了单变量 F 检验统计量和互信息之间的差异。我们对一个数据集进行了 F 检验和互信息回归，并比较了结果。我们发现 F 检验仅捕捉变量之间的线性相关性，而互信息可以捕捉变量之间的任何类型的相关性。