简介
在本教程中，我们将了解检测错误权衡（DET）曲线，并将它们与接收者操作特征（ROC）曲线进行比较。DET 曲线是 ROC 曲线的一种变体，其中 y 轴上绘制的是假阴性率（FNR），而不是真阳性率（TPR）。我们将使用 scikit-learn（一个流行的用于机器学习的 Python 库）来生成合成数据，并使用 ROC 和 DET 曲线比较两个分类器在不同阈值下的统计性能。
虚拟机使用提示
虚拟机启动完成后，点击左上角切换到“笔记本”标签，以访问 Jupyter Notebook 进行练习。
有时，你可能需要等待几秒钟让 Jupyter Notebook 完成加载。由于 Jupyter Notebook 的限制，操作验证无法自动化。
如果你在学习过程中遇到问题，随时向 Labby 提问。课程结束后提供反馈，我们将立即为你解决问题。
生成合成数据
我们将使用 scikit-learn 的make_classification函数来生成合成数据。此函数会生成一个随机的 n 分类问题，具有 n_informative 个信息特征、n_redundant 个冗余特征以及每个类别 n_clusters_per_class 个聚类。我们将生成 1000 个样本，有 2 个信息特征，随机状态设为 1。然后，我们会以 60/40 的比例将数据拆分为训练集和测试集。
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
X, y = make_classification(
n_samples=1_000,
n_features=2,
n_redundant=0,
n_informative=2,
random_state=1,
n_clusters_per_class=1,
)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, random_state=0)
定义分类器
我们将定义两个不同的分类器，以便使用 ROC 和 DET 曲线比较它们在不同阈值下的统计性能。我们将使用 scikit-learn 的make_pipeline函数创建一个管道，该管道使用StandardScaler对数据进行缩放，并训练一个LinearSVC分类器。我们还将使用 scikit-learn 的RandomForestClassifier类来训练一个随机森林分类器，其最大深度为 5，有 10 个估计器，最多 1 个特征。
from sklearn.ensemble import RandomForestClassifier
from sklearn.pipeline import make_pipeline
from sklearn.svm import LinearSVC
classifiers = {
"Linear SVM": make_pipeline(StandardScaler(), LinearSVC(C=0.025, dual="auto")),
"Random Forest": RandomForestClassifier(
max_depth=5, n_estimators=10, max_features=1
),
}
绘制 ROC 和 DET 曲线
我们将分别使用 scikit-learn 的RocCurveDisplay和DetCurveDisplay类来绘制 ROC 曲线和 DET 曲线。RocCurveDisplay.from_estimator函数计算 ROC 曲线并将其绘制在给定的轴上。类似地，DetCurveDisplay.from_estimator函数计算 DET 曲线并将其绘制在给定的轴上。我们将创建两个子图，一个用于 ROC 曲线，一个用于 DET 曲线，并为每个分类器绘制曲线。
import matplotlib.pyplot as plt
from sklearn.metrics import DetCurveDisplay, RocCurveDisplay
fig, [ax_roc, ax_det] = plt.subplots(1, 2, figsize=(11, 5))
for name, clf in classifiers.items():
clf.fit(X_train, y_train)
RocCurveDisplay.from_estimator(clf, X_test, y_test, ax=ax_roc, name=name)
DetCurveDisplay.from_estimator(clf, X_test, y_test, ax=ax_det, name=name)
ax_roc.set_title("Receiver Operating Characteristic (ROC) curves")
ax_det.set_title("Detection Error Tradeoff (DET) curves")
ax_roc.grid(linestyle="--")
ax_det.grid(linestyle="--")
plt.legend()
plt.show()
结果解读
使用 DET 曲线比使用 ROC 曲线更容易直观地评估不同分类算法的整体性能。DET 曲线直接给出了检测错误权衡的反馈，有助于进行操作点分析。然后，用户可以决定他们愿意接受的 FNR，以牺牲 FPR 为代价（反之亦然）。
总结
在本教程中，我们了解了检测错误权衡（DET）曲线，并将它们与接收者操作特征（ROC）曲线进行了比较。我们使用 scikit-learn 生成合成数据，并使用 ROC 和 DET 曲线比较了两个分类器在不同阈值下的统计性能。DET 曲线是 ROC 曲线的一种变体，其中 y 轴上绘制的是假阴性率（FNR）而不是真阳性率（TPR）。DET 曲线直接给出了检测错误权衡的反馈，有助于进行操作点分析，使其成为评估分类算法性能的有用工具。