소개
이 실습에서는 신규성 탐지에 대한 일원 SVM(One-class SVM) 사용 예제를 안내합니다. 일원 SVM 은 비지도 학습 알고리즘으로, 새로운 데이터를 학습 데이터와 유사하거나 다른 것으로 분류하는 신규성 탐지에 대한 결정 함수를 학습합니다.
VM 팁
VM 시작이 완료되면 왼쪽 상단 모서리를 클릭하여 Notebook 탭으로 전환하여 연습을 위한 Jupyter Notebook에 접근합니다.
때때로 Jupyter Notebook 이 완전히 로드되기까지 몇 초 정도 기다려야 할 수 있습니다. Jupyter Notebook 의 제한으로 인해 작업의 유효성 검사는 자동화될 수 없습니다.
학습 중 문제가 발생하면 Labby 에 문의하십시오. 세션 후 피드백을 제공하면 문제를 신속하게 해결해 드리겠습니다.
필요한 라이브러리 가져오기 및 데이터 생성
첫 번째 단계는 필요한 라이브러리를 가져오고 데이터를 생성하는 것입니다. 데이터 생성 및 시각화를 위해 numpy 와 matplotlib 를 사용하고, 일원 SVM 모델 구축을 위해 scikit-learn 을 사용합니다.
import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
## 학습 데이터 생성
X = 0.3 * np.random.randn(100, 2)
X_train = np.r_[X + 2, X - 2]
## 일반적인 새로운 관측치 생성
X = 0.3 * np.random.randn(20, 2)
X_test = np.r_[X + 2, X - 2]
## 비정상적인 새로운 관측치 생성
X_outliers = np.random.uniform(low=-4, high=4, size=(20, 2))
일원 SVM 모델 학습
다음으로 생성된 데이터에 대한 일원 SVM 모델을 학습합니다.
## 모델 학습
clf = svm.OneClassSVM(nu=0.1, kernel="rbf", gamma=0.1)
clf.fit(X_train)
## 학습 데이터, 일반적인 새로운 관측치 및 비정상적인 새로운 관측치에 대한 레이블 예측
y_pred_train = clf.predict(X_train)
y_pred_test = clf.predict(X_test)
y_pred_outliers = clf.predict(X_outliers)
오류 개수 계산
모델이 학습 데이터, 일반적인 새로운 관측치 및 비정상적인 새로운 관측치에서 발생시킨 오류 개수를 계산합니다.
## 오류 개수 계산
n_error_train = y_pred_train[y_pred_train == -1].size
n_error_test = y_pred_test[y_pred_test == -1].size
n_error_outliers = y_pred_outliers[y_pred_outliers == 1].size
결과 시각화
마지막으로, 일원 SVM 모델의 결과를 시각화합니다. 결정 경계, 학습 데이터, 일반적인 새로운 관측치 및 비정상적인 새로운 관측치를 플롯합니다.
## 결과 시각화
xx, yy = np.meshgrid(np.linspace(-5, 5, 500), np.linspace(-5, 5, 500))
Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.title("새로운 데이터 검출")
plt.contourf(xx, yy, Z, levels=np.linspace(Z.min(), 0, 7), cmap=plt.cm.PuBu)
a = plt.contour(xx, yy, Z, levels=[0], linewidths=2, colors="darkred")
plt.contourf(xx, yy, Z, levels=[0, Z.max()], colors="palevioletred")
s = 40
b1 = plt.scatter(X_train[:, 0], X_train[:, 1], c="white", s=s, edgecolors="k")
b2 = plt.scatter(X_test[:, 0], X_test[:, 1], c="blueviolet", s=s, edgecolors="k")
c = plt.scatter(X_outliers[:, 0], X_outliers[:, 1], c="gold", s=s, edgecolors="k")
plt.axis("tight")
plt.xlim((-5, 5))
plt.ylim((-5, 5))
plt.legend(
[a.collections[0], b1, b2, c],
[
"학습된 경계",
"학습 관측치",
"새로운 일반 관측치",
"새로운 비정상 관측치",
],
loc="upper left",
prop=matplotlib.font_manager.FontProperties(size=11),
)
plt.xlabel(
"오류 학습: %d/200 ; 오류 새로운 일반: %d/40 ; 오류 새로운 비정상: %d/40"
% (n_error_train, n_error_test, n_error_outliers)
)
plt.show()
요약
이 실험에서 우리는 새로운 데이터 검출을 위해 일원 SVM 을 사용하는 방법을 배웠습니다. 데이터를 생성하고, 일원 SVM 모델을 맞추고, 오류 수를 계산하고, 결과를 시각화했습니다. 일원 SVM 은 데이터의 이상을 감지하는 데 유용한 알고리즘이며 다양한 응용 분야에 적용될 수 있습니다.