多标签文档分类 | Scikit-Learn 教程

简介

本实验使用 scikit-learn 展示了一个多标签文档分类问题。数据集是根据以下过程随机生成的：

选择标签数量：n ~ 泊松分布 (n_labels)
重复 N 次，选择一个类别 c：c ~ 多项分布 (theta)
选择文档长度：k ~ 泊松分布 (length)
重复 K 次，选择一个单词：w ~ 多项分布 (theta_c)

在此过程中，使用拒绝采样来确保 n 大于 2，并且文档长度不为零。同样，已经选择的类别将被拒绝。分配给两个类别的文档将用两个彩色圆圈包围绘制。

虚拟机使用提示

虚拟机启动完成后，点击左上角切换到“笔记本”标签以访问 Jupyter Notebook 进行练习。

有时，你可能需要等待几秒钟让 Jupyter Notebook 完成加载。由于 Jupyter Notebook 的限制，操作验证无法自动化。

如果你在学习过程中遇到问题，随时向 Labby 提问。课程结束后提供反馈，我们将立即为你解决问题。

导入库

在这一步中，我们导入必要的库：来自sklearn.datasets的numpy、matplotlib、make_multilabel_classification，来自sklearn.multiclass的OneVsRestClassifier和SVC，来自sklearn.decomposition的PCA和CCA。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_multilabel_classification
from sklearn.multiclass import OneVsRestClassifier
from sklearn.svm import SVC
from sklearn.decomposition import PCA
from sklearn.cross_decomposition import CCA

定义绘图函数

在这一步中，我们定义plot_hyperplane和plot_subfigure函数。plot_hyperplane函数用于获取分隔超平面，而plot_subfigure函数用于绘制子图。

def plot_hyperplane(clf, min_x, max_x, linestyle, label):
    ## 获取分隔超平面
    w = clf.coef_[0]
    a = -w[0] / w[1]
    xx = np.linspace(min_x - 5, max_x + 5)  ## 确保线足够长
    yy = a * xx - (clf.intercept_[0]) / w[1]
    plt.plot(xx, yy, linestyle, label=label)


def plot_subfigure(X, Y, subplot, title, transform):
    if transform == "pca":
        X = PCA(n_components=2).fit_transform(X)
    elif transform == "cca":
        X = CCA(n_components=2).fit(X, Y).transform(X)
    else:
        raise ValueError

    min_x = np.min(X[:, 0])
    max_x = np.max(X[:, 0])

    min_y = np.min(X[:, 1])
    max_y = np.max(X[:, 1])

    classif = OneVsRestClassifier(SVC(kernel="linear"))
    classif.fit(X, Y)

    plt.subplot(2, 2, subplot)
    plt.title(title)

    zero_class = np.where(Y[:, 0])
    one_class = np.where(Y[:, 1])
    plt.scatter(X[:, 0], X[:, 1], s=40, c="gray", edgecolors=(0, 0, 0))
    plt.scatter(
        X[zero_class, 0],
        X[zero_class, 1],
        s=160,
        edgecolors="b",
        facecolors="none",
        linewidths=2,
        label="Class 1"
    )
    plt.scatter(
        X[one_class, 0],
        X[one_class, 1],
        s=80,
        edgecolors="orange",
        facecolors="none",
        linewidths=2,
        label="Class 2"
    )

    plot_hyperplane(
        classif.estimators_[0], min_x, max_x, "k--", "Boundary\nfor class 1"
    )
    plot_hyperplane(
        classif.estimators_[1], min_x, max_x, "k-.", "Boundary\nfor class 2"
    )
    plt.xticks(())
    plt.yticks(())

    plt.xlim(min_x - 0.5 * max_x, max_x + 0.5 * max_x)
    plt.ylim(min_y - 0.5 * max_y, max_y + 0.5 * max_y)
    if subplot == 2:
        plt.xlabel("First principal component")
        plt.ylabel("Second principal component")
        plt.legend(loc="upper left")

生成数据集

在这一步中，我们使用来自sklearn.datasets的make_multilabel_classification函数生成数据集。

X, Y = make_multilabel_classification(
    n_classes=2, n_labels=1, allow_unlabeled=True, random_state=1
)

绘制子图

在这一步中，我们使用plot_subfigure函数来绘制子图。

plt.figure(figsize=(8, 6))

plot_subfigure(X, Y, 1, "With unlabeled samples + CCA", "cca")
plot_subfigure(X, Y, 2, "With unlabeled samples + PCA", "pca")

X, Y = make_multilabel_classification(
    n_classes=2, n_labels=1, allow_unlabeled=False, random_state=1
)

plot_subfigure(X, Y, 3, "Without unlabeled samples + CCA", "cca")
plot_subfigure(X, Y, 4, "Without unlabeled samples + PCA", "pca")

plt.subplots_adjust(0.04, 0.02, 0.97, 0.94, 0.09, 0.2)
plt.show()

总结

本实验展示了一个使用 scikit-learn 的多标签文档分类问题。我们使用make_multilabel_classification函数生成数据集，并使用plot_subfigure函数绘制子图。