이 실습에서는 여러 후보군 중 반복적으로 최상의 매개변수 조합을 선택하는 연속 반감 탐색 방법을 배우게 됩니다. 이 방법은 Scikit-learn 라이브러리의 HalvingGridSearchCV 및 HalvingRandomSearchCV 클래스에 구현되어 있습니다. 이 실습에서는 HalvingRandomSearchCV 클래스를 사용합니다.
VM 시작이 완료되면 왼쪽 상단 모서리를 클릭하여 Notebook 탭으로 전환하여 연습을 위한 Jupyter Notebook에 접속합니다.
때때로 Jupyter Notebook 이 완전히 로드되기까지 몇 초 정도 기다려야 할 수 있습니다. Jupyter Notebook 의 제약으로 인해 작업의 유효성 검사를 자동화할 수 없습니다.
학습 중 문제가 발생하면 Labby 에 문의하십시오. 세션 후 피드백을 제공하면 문제를 신속하게 해결해 드리겠습니다.
이 실습에서는 다음 라이브러리를 사용합니다: pandas, numpy, matplotlib, sklearn.datasets, RandomForestClassifier, randint, 그리고 HalvingRandomSearchCV. 다음 코드를 사용하여 가져옵니다.
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.ensemble import RandomForestClassifier
from scipy.stats import randint
from sklearn.experimental import enable_halving_search_cv
from sklearn.model_selection import HalvingRandomSearchCVsklearn.datasets 모듈의 make_classification 함수를 사용하여 분류 데이터셋을 생성합니다. 이 데이터셋은 400 개의 샘플과 12 개의 특징을 포함합니다. 데이터셋을 로드하는 코드는 다음과 같습니다.
rng = np.random.RandomState(0)
X, y = datasets.make_classification(n_samples=400, n_features=12, random_state=rng)탐색할 하이퍼파라미터와 해당 값을 포함하는 딕셔너리 param_dist를 정의합니다. 하이퍼파라미터는 max_depth, max_features, min_samples_split, bootstrap, 그리고 criterion입니다. max_features와 min_samples_split의 탐색 범위는 scipy.stats 모듈의 randint 함수를 사용하여 정의합니다. 매개변수 공간을 정의하는 코드는 다음과 같습니다.
param_dist = {
"max_depth": [3, None],
"max_features": randint(1, 6),
"min_samples_split": randint(2, 11),
"bootstrap": [True, False],
"criterion": ["gini", "entropy"],
}매개변수 공간을 탐색하기 위한 HalvingRandomSearchCV 객체를 생성합니다. 이 객체는 다음과 같은 인수를 받습니다.
estimator: 최적화할 추정기param_distributions: 탐색할 매개변수 공간factor: 각 반복에서 후보 수를 줄이는 비율random_state: 검색에 사용되는 난수 생성기 상태객체를 생성하는 코드는 다음과 같습니다.
clf = RandomForestClassifier(n_estimators=20, random_state=rng)
rsh = HalvingRandomSearchCV(
estimator=clf, param_distributions=param_dist, factor=2, random_state=rng
)fit 메서드를 사용하여 HalvingRandomSearchCV 객체를 데이터셋에 적합시킵니다. 객체를 적합시키는 코드는 다음과 같습니다.
rsh.fit(X, y)검색 객체의 cv_results_ 속성에는 검색 결과가 포함되어 있습니다. 다음 코드를 사용하여 pandas 데이터프레임으로 변환합니다.
results = pd.DataFrame(rsh.cv_results_)params 열을 문자열로 변환하여 params_str 열을 생성합니다. 동일한 params_str 및 iter 값을 가진 중복 행을 제거합니다.
results["params_str"] = results.params.apply(str)
results.drop_duplicates(subset=("params_str", "iter"), inplace=True)이후 pivot 메서드를 사용하여 반복 횟수와 매개변수 조합에 대한 평균 테스트 점수를 피벗합니다.
mean_scores = results.pivot(
index="iter", columns="params_str", values="mean_test_score"
)마지막으로, 다음 코드를 사용하여 반복에 따른 평균 테스트 점수를 플롯합니다.
ax = mean_scores.plot(legend=False, alpha=0.6)
labels = [
f"iter={i}\nn_samples={rsh.n_resources_[i]}\nn_candidates={rsh.n_candidates_[i]}"
for i in range(rsh.n_iterations_)
]
ax.set_xticks(range(rsh.n_iterations_))
ax.set_xticklabels(labels, rotation=45, multialignment="left")
ax.set_title("반복에 따른 후보자 점수")
ax.set_ylabel("평균 테스트 점수", fontsize=15)
ax.set_xlabel("반복 횟수", fontsize=15)
plt.tight_layout()
plt.show()플롯은 반복에 따른 후보자들의 평균 테스트 점수를 보여줍니다. 첫 번째 반복에서는 모든 후보자가 적은 양의 자원으로 평가됩니다. 두 번째 반복에서는 후보자 중 상위 절반만 두 배의 자원으로 평가됩니다. 이 과정은 마지막 반복까지 반복되며, 마지막에는 2 명의 후보자만 남게 됩니다. 최고의 후보자는 마지막 반복에서 평균 테스트 점수가 가장 높은 후보자입니다.
이 실험에서는 여러 후보자 중 반복적으로 최상의 매개변수 조합을 선택하는 연속 반감 검색 방법을 배우는 데 초점을 맞췄습니다. Scikit-learn 라이브러리의 HalvingRandomSearchCV 클래스를 사용하여 검색 방법을 구현했습니다. 검색 결과는 반복에 따른 평균 테스트 점수 플롯을 통해 분석하고 해석했습니다.