소개
이 실습에서는 Scikit-learn 라이브러리를 사용하여 다중 클래스 분류기의 품질을 평가하기 위해 수신자 작동 특성 (ROC) 지표를 활용하는 방법을 보여줍니다.
VM 팁
VM 시작이 완료되면 왼쪽 상단 모서리를 클릭하여 Notebook 탭으로 전환하여 연습을 위한 Jupyter Notebook에 접근합니다.
때때로 Jupyter Notebook 이 로드되는 데 몇 초 정도 기다려야 할 수 있습니다. Jupyter Notebook 의 제한으로 인해 작업의 유효성 검사를 자동화할 수 없습니다.
학습 중 문제가 발생하면 Labby 에 문의하십시오. 세션 후 피드백을 제공하면 문제를 신속하게 해결해 드리겠습니다.
데이터 로드 및 준비
ROC 지표를 사용하여 분류기의 성능을 평가하기 위해 아이리스 데이터셋을 로드하고 준비하는 방법을 살펴봅니다.
import numpy as np
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
iris = load_iris()
target_names = iris.target_names
X, y = iris.data, iris.target
y = iris.target_names[y]
## 문제를 더 어렵게 하기 위해 노이즈 특징 추가
random_state = np.random.RandomState(0)
n_samples, n_features = X.shape
n_classes = len(np.unique(y))
X = np.concatenate([X, random_state.randn(n_samples, 200 * n_features)], axis=1)
## 데이터를 학습 및 테스트 세트로 분할
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, stratify=y, random_state=0)
One-vs-Rest 다중 클래스 ROC
One-vs-the-Rest (OvR) 다중 클래스 전략은 각 n_classes에 대해 ROC 곡선을 계산하는 방식입니다. 각 단계에서 특정 클래스를 양성 클래스로 간주하고 나머지 클래스를 대량으로 음성 클래스로 간주합니다. 이 단계에서는 OvR 다중 클래스 전략을 사용하여 ROC 곡선을 계산하는 방법을 보여줍니다.
from sklearn.preprocessing import LabelBinarizer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_curve, roc_auc_score
import matplotlib.pyplot as plt
from sklearn.metrics import RocCurveDisplay
## OvR 전략을 사용하여 타겟을 이진화
label_binarizer = LabelBinarizer().fit(y_train)
y_onehot_test = label_binarizer.transform(y_test)
## 로지스틱 회귀 모델 학습
classifier = LogisticRegression()
y_score = classifier.fit(X_train, y_train).predict_proba(X_test)
## 각 클래스에 대한 ROC 곡선 및 ROC AUC 점수 계산
fpr, tpr, roc_auc = dict(), dict(), dict()
for i in range(n_classes):
fpr[i], tpr[i], _ = roc_curve(y_onehot_test[:, i], y_score[:, i])
roc_auc[i] = roc_auc_score(y_onehot_test[:, i], y_score[:, i])
## 마이크로 평균 ROC 곡선 및 ROC 면적 계산
fpr["micro"], tpr["micro"], _ = roc_curve(y_onehot_test.ravel(), y_score.ravel())
roc_auc["micro"] = roc_auc_score(y_onehot_test, y_score, multi_class="ovr", average="micro")
## 매크로 평균 ROC 곡선 및 ROC 면적 계산
## 각 클래스의 참/거짓 양성률 집계
fpr["macro"], tpr["macro"] = [], []
for i in range(n_classes):
fpr_averaged, tpr_averaged = [], []
for j in range(n_classes):
if i != j:
fpr_averaged += list(fpr[j])
tpr_averaged += list(tpr[j])
fpr_averaged = np.array(fpr_averaged)
tpr_averaged = np.array(tpr_averaged)
fpr["macro"].append(fpr_averaged)
tpr["macro"].append(tpr_averaged)
fpr["macro"] = np.concatenate(fpr["macro"])
tpr["macro"] = np.concatenate(tpr["macro"])
roc_auc["macro"] = roc_auc_score(y_onehot_test, y_score, multi_class="ovr", average="macro")
## 각 클래스 및 마이크로/매크로 평균에 대한 ROC 곡선 플롯
fig, ax = plt.subplots(figsize=(6, 6))
colors = ["aqua", "darkorange", "cornflowerblue"]
for i, color in zip(range(n_classes), colors):
RocCurveDisplay.from_predictions(
y_onehot_test[:, i],
y_score[:, i],
name=f"ROC curve of class {target_names[i]} (AUC = {roc_auc[i]:.2f})",
color=color,
ax=ax,
plot_micro=False,
plot_macro=False,
)
RocCurveDisplay.from_predictions(
y_onehot_test.ravel(),
y_score.ravel(),
name=f"Micro-average ROC curve (AUC = {roc_auc['micro']:.2f})",
color="deeppink",
linestyle=":",
linewidth=4,
ax=ax,
)
plt.plot(
fpr["macro"],
tpr["macro"],
label=f"Macro-average ROC curve (AUC = {roc_auc['macro']:.2f})",
color="navy",
linestyle=":",
linewidth=4,
)
plt.plot([0, 1], [0, 1], "k--", label="Chance level")
plt.axis("square")
plt.xlabel("False Positive Rate")
plt.ylabel("True Positive Rate")
plt.title("One-vs-Rest ROC curves")
plt.legend()
plt.show()
One-vs-One 다중 클래스 ROC
One-vs-One (OvO) 다중 클래스 전략은 각 클래스 쌍에 대해 하나의 분류기를 맞추는 방식입니다. n_classes * (n_classes - 1) / 2 개의 분류기를 학습해야 하므로, O(n_classes ^2) 의 복잡도로 인해 One-vs-Rest 보다 일반적으로 느립니다. 이 단계에서는 OvO 다중 클래스 전략을 사용하여 ROC 곡선을 계산하는 방법을 보여줍니다.
pair_list = [(0, 1), (1, 2), (0, 2)]
pair_scores = []
mean_tpr = dict()
## 각 클래스 쌍에 대한 ROC 곡선 및 ROC AUC 점수 계산
for ix, (label_a, label_b) in enumerate(pair_list):
a_mask = y_test == target_names[label_a]
b_mask = y_test == target_names[label_b]
ab_mask = np.logical_or(a_mask, b_mask)
a_true = a_mask[ab_mask]
b_true = b_mask[ab_mask]
idx_a = np.flatnonzero(label_binarizer.classes_ == target_names[label_a])[0]
idx_b = np.flatnonzero(label_binarizer.classes_ == target_names[label_b])[0]
fpr_a, tpr_a, _ = roc_curve(a_true, y_score[ab_mask, idx_a])
fpr_b, tpr_b, _ = roc_curve(b_true, y_score[ab_mask, idx_b])
mean_tpr[ix] = np.zeros_like(fpr_grid)
mean_tpr[ix] += np.interp(fpr_grid, fpr_a, tpr_a)
mean_tpr[ix] += np.interp(fpr_grid, fpr_b, tpr_b)
mean_tpr[ix] /= 2
mean_score = auc(fpr_grid, mean_tpr[ix])
pair_scores.append(mean_score)
fig, ax = plt.subplots(figsize=(6, 6))
plt.plot(
fpr_grid,
mean_tpr[ix],
label=f"Mean {target_names[label_a]} vs {target_names[label_b]} (AUC = {mean_score :.2f})",
linestyle=":",
linewidth=4,
)
RocCurveDisplay.from_predictions(
a_true,
y_score[ab_mask, idx_a],
ax=ax,
name=f"{target_names[label_a]} as positive class",
)
RocCurveDisplay.from_predictions(
b_true,
y_score[ab_mask, idx_b],
ax=ax,
name=f"{target_names[label_b]} as positive class",
plot_chance_level=True,
)
plt.axis("square")
plt.xlabel("False Positive Rate")
plt.ylabel("True Positive Rate")
plt.title(f"{target_names[idx_a]} vs {target_names[idx_b]} ROC curves")
plt.legend()
plt.show()
## 매크로 평균 ROC 곡선 및 ROC AUC 점수 계산
mean_tpr = np.zeros_like(fpr_grid)
for ix in range(len(pair_list)):
mean_tpr += mean_tpr[ix]
mean_tpr /= len(pair_list)
macro_roc_auc_ovo = roc_auc_score(y_test, y_score, multi_class="ovo", average="macro")
plt.plot(
fpr_grid,
mean_tpr,
label=f"Macro-average ROC curve (AUC = {macro_roc_auc_ovo:.2f})",
linestyle=":",
linewidth=4,
)
plt.plot([0, 1], [0, 1], "k--", label="Chance level")
plt.axis("square")
plt.xlabel("False Positive Rate")
plt.ylabel("True Positive Rate")
plt.title("One-vs-One ROC curves")
plt.legend()
plt.show()
요약
이 실습에서는 ROC 곡선과 ROC AUC 점수를 사용하여 다중 클래스 분류기의 성능을 평가하는 방법을 배웠습니다. One-vs-Rest (OvR) 및 One-vs-One (OvO) 다중 클래스 전략을 사용하여 ROC 곡선을 계산하는 방법을 보여주었습니다. 또한 Scikit-learn 을 사용하여 마이크로 및 매크로 평균 ROC 곡선과 ROC AUC 점수를 계산하는 방법을 보여주었습니다.