NCA 적용 여부에 따른 최근접 이웃 분류 비교

소개

이 실습에서는 이웃 컴포넌트 분석 (NCA) 을 사용하고 사용하지 않고 가장 가까운 이웃 분류를 비교하는 방법을 보여줍니다. 원본 특징에 유클리드 거리를 사용할 때와 이웃 컴포넌트 분석으로 학습된 변환 후 유클리드 거리를 사용할 때 가장 가까운 이웃 분류기가 생성하는 클래스 결정 경계를 플롯합니다. 후자는 훈련 세트에서 (확률적) 가장 가까운 이웃 분류 정확도를 극대화하는 선형 변환을 찾는 것을 목표로 합니다. 우리는 각각 50 개의 인스턴스를 포함하는 3 개의 클래스를 가진 아이리스 데이터 세트를 사용할 것입니다.

VM 팁

VM 시작이 완료되면 왼쪽 상단 모서리를 클릭하여 Notebook 탭으로 전환하여 연습을 위한 Jupyter Notebook에 접근합니다.

때때로 Jupyter Notebook 이 완전히 로드되기까지 몇 초 정도 기다려야 할 수 있습니다. Jupyter Notebook 의 제한으로 인해 작업의 유효성 검사를 자동화할 수 없습니다.

학습 중 문제가 발생하면 Labby 에게 문의하십시오. 세션 후 피드백을 제공하면 문제를 신속하게 해결해 드리겠습니다.

라이브러리 가져오기

필요한 라이브러리를 가져오는 것으로 시작합니다. 가장 가까운 이웃 분류와 NCA 를 수행하기 위해 scikit-learn 을 사용합니다. 클래스 결정 경계를 플롯하기 위해 matplotlib 를 사용합니다.

import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier, NeighborhoodComponentsAnalysis
from sklearn.pipeline import Pipeline
from sklearn.inspection import DecisionBoundaryDisplay

데이터 로드 및 준비

다음으로 데이터를 로드하고 준비합니다. scikit-learn 을 사용하여 아이리스 데이터 세트를 로드하고 두 개의 특징만 선택합니다. 그런 다음 데이터를 훈련 세트와 테스트 세트로 분할합니다.

n_neighbors = 1

dataset = datasets.load_iris()
X, y = dataset.data, dataset.target

## 두 개의 특징만 사용합니다. 두 차원 데이터 세트를 사용하여 이러한 보기 흉한 슬라이싱을 피할 수 있습니다.
X = X[:, [0, 2]]

X_train, X_test, y_train, y_test = train_test_split(
    X, y, stratify=y, test_size=0.7, random_state=42
)

색상 맵 생성

이제 클래스 결정 경계를 플롯하기 위한 색상 맵을 생성합니다. 배경에는 밝은 색상을 사용하고 클래스 색상에는 진한 색상을 사용합니다.

h = 0.05  ## 메쉬의 단계 크기

## 색상 맵 생성
cmap_light = ListedColormap(["#FFAAAA", "#AAFFAA", "#AAAAFF"])
cmap_bold = ListedColormap(["#FF0000", "#00FF00", "#0000FF"])

분류기 정의

KNN 을 사용하는 분류기와 NCA 및 KNN 을 사용하는 분류기를 정의합니다. 파이프라인을 사용하여 데이터를 스케일링하고 분류기를 적용합니다.

names = ["KNN", "NCA, KNN"]

classifiers = [
    Pipeline(
        [
            ("scaler", StandardScaler()),
            ("knn", KNeighborsClassifier(n_neighbors=n_neighbors)),
        ]
    ),
    Pipeline(
        [
            ("scaler", StandardScaler()),
            ("nca", NeighborhoodComponentsAnalysis()),
            ("knn", KNeighborsClassifier(n_neighbors=n_neighbors)),
        ]
    ),
]

분류기 학습 및 테스트

이제 분류기를 학습하고 테스트합니다. 분류기 목록을 반복하여 학습 데이터에 맞춥니다. 그런 다음 클래스 결정 경계를 플롯하고 테스트 데이터에 대한 점수를 계산합니다.

for name, clf in zip(names, classifiers):
    clf.fit(X_train, y_train)
    score = clf.score(X_test, y_test)

    _, ax = plt.subplots()
    DecisionBoundaryDisplay.from_estimator(
        clf,
        X,
        cmap=cmap_light,
        alpha=0.8,
        ax=ax,
        response_method="predict",
        plot_method="pcolormesh",
        shading="auto",
    )

    ## 학습 및 테스트 데이터 포인트도 플롯
    plt.scatter(X[:, 0], X[:, 1], c=y, cmap=cmap_bold, edgecolor="k", s=20)
    plt.title("{} (k = {})".format(name, n_neighbors))
    plt.text(
        0.9,
        0.1,
        "{:.2f}".format(score),
        size=15,
        ha="center",
        va="center",
        transform=plt.gca().transAxes,
    )

plt.show()

요약

이 실험에서는 이웃 컴포넌트 분석 (NCA) 을 사용하는 경우와 사용하지 않는 경우의 최근접 이웃 분류를 비교했습니다. 원본 특징에 대한 유클리드 거리를 사용하는 최근접 이웃 분류기가 생성하는 클래스 결정 경계를 플롯하고, NCA 에 의해 학습된 변환 후 유클리드 거리를 사용하는 경우를 아이리스 데이터셋으로 비교했습니다. 사이킷런을 사용하여 최근접 이웃 분류와 NCA 를 수행했으며, 매트플롯립을 사용하여 클래스 결정 경계를 플롯했습니다. NCA 가 분류 정확도를 향상시켰다는 것을 발견했습니다.

NCA 분류 시각화

소개