scikit-learn 라이브러리는 텍스트 특징 추출 및 평가를 위한 도구를 제공합니다. 이 실습에서는 20newsgroups 데이터셋을 사용하여 텍스트 데이터에서 특징을 추출하고, 파이프라인을 구축하며, 하이퍼파라미터 튜닝을 통해 모델의 성능을 평가하는 방법을 보여줍니다.
VM 시작이 완료되면 왼쪽 상단 모서리를 클릭하여 Notebook 탭으로 전환하여 연습용 Jupyter Notebook에 접근합니다.
때때로 Jupyter Notebook 이 완전히 로드되기까지 몇 초 정도 기다려야 할 수 있습니다. Jupyter Notebook 의 제한으로 인해 작업의 유효성 검사를 자동화할 수 없습니다.
학습 중 문제가 발생하면 Labby 에게 문의하십시오. 세션 후 피드백을 제공하면 문제를 신속하게 해결해 드리겠습니다.
20 개의 서로 다른 카테고리에 걸쳐 약 20,000 개의 뉴스그룹 문서가 모인 20newsgroups 데이터셋을 로드합니다. 이 실습에서는 alt.atheism 및 talk.religion.misc 두 가지 카테고리에 집중합니다.
from sklearn.datasets import fetch_20newsgroups
categories = [
"alt.atheism",
"talk.religion.misc",
]
data_train = fetch_20newsgroups(
subset="train",
categories=categories,
shuffle=True,
random_state=42,
remove=("headers", "footers", "quotes"),
)
data_test = fetch_20newsgroups(
subset="test",
categories=categories,
shuffle=True,
random_state=42,
remove=("headers", "footers", "quotes"),
)
print(f"Loading 20 newsgroups dataset for {len(data_train.target_names)} categories:")
print(data_train.target_names)
print(f"{len(data_train.data)} documents")텍스트 분류를 위해 텍스트 특징 벡터화기와 간단한 분류기를 결합한 파이프라인을 정의합니다. Complement Naive Bayes 를 분류기로, TfidfVectorizer 를 특징 추출기로 사용합니다.
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import ComplementNB
from sklearn.pipeline import Pipeline
import numpy as np
pipeline = Pipeline(
[
("vect", TfidfVectorizer()),
("clf", ComplementNB()),
]
)
parameter_grid = {
"vect__max_df": (0.2, 0.4, 0.6, 0.8, 1.0),
"vect__min_df": (1, 3, 5, 10),
"vect__ngram_range": ((1, 1), (1, 2)), ## unigrams or bigrams
"vect__norm": ("l1", "l2"),
"clf__alpha": np.logspace(-6, 6, 13),
}랜덤 검색 (RandomizedSearchCV) 을 사용하여 하이퍼파라미터 그리드를 탐색하고 파이프라인에 대한 최상의 하이퍼파라미터 조합을 찾습니다. 이 경우 n_iter=40으로 검색 공간을 제한합니다. 더욱 정보적인 분석을 위해 n_iter 값을 늘릴 수 있지만, 계산 시간이 증가합니다.
from pprint import pprint
from sklearn.model_selection import RandomizedSearchCV
random_search = RandomizedSearchCV(
estimator=pipeline,
param_distributions=parameter_grid,
n_iter=40,
random_state=0,
n_jobs=2,
verbose=1,
)
print("Performing grid search...")
print("Hyperparameters to be evaluated:")
pprint(parameter_grid)
random_search.fit(data_train.data, data_train.target)
test_accuracy = random_search.score(data_test.data, data_test.target)Plotly.express 를 사용하여 하이퍼파라미터 튜닝 결과를 시각화할 수 있습니다. 점 산점도를 사용하여 평균 테스트 점수와 스코어링 시간 간의 트레이드오프를 시각화합니다. 또한 평행 좌표를 사용하여 조정된 하이퍼파라미터의 함수로서 평균 테스트 점수를 추가적으로 시각화할 수 있습니다.
import pandas as pd
import plotly.express as px
import math
def shorten_param(param_name):
"""Remove components' prefixes in param_name."""
if "__" in param_name:
return param_name.rsplit("__", 1)[1]
return param_name
cv_results = pd.DataFrame(random_search.cv_results_)
cv_results = cv_results.rename(shorten_param, axis=1)
param_names = [shorten_param(name) for name in parameter_grid.keys()]
labels = {
"mean_score_time": "CV 스코어 시간 (초)",
"mean_test_score": "CV 스코어 (정확도)",
}
fig = px.scatter(
cv_results,
x="mean_score_time",
y="mean_test_score",
error_x="std_score_time",
error_y="std_test_score",
hover_data=param_names,
labels=labels,
)
fig.update_layout(
title={
"text": "스코어링 시간과 평균 테스트 점수 간의 트레이드오프",
"y": 0.95,
"x": 0.5,
"xanchor": "center",
"yanchor": "top",
}
)
column_results = param_names + ["mean_test_score", "mean_score_time"]
transform_funcs = dict.fromkeys(column_results, lambda x: x)
## alpha 에 대한 로그 스케일 사용
transform_funcs["alpha"] = math.log10
## L1 정규화는 인덱스 1, L2 정규화는 인덱스 2 에 매핑
transform_funcs["norm"] = lambda x: 2 if x == "l2" else 1
## unigram 은 인덱스 1, bigram 은 인덱스 2 에 매핑
transform_funcs["ngram_range"] = lambda x: x[1]
fig = px.parallel_coordinates(
cv_results[column_results].apply(transform_funcs),
color="mean_test_score",
color_continuous_scale=px.colors.sequential.Viridis_r,
labels=labels,
)
fig.update_layout(
title={
"text": "텍스트 분류기 파이프라인의 평행 좌표 플롯",
"y": 0.99,
"x": 0.5,
"xanchor": "center",
"yanchor": "top",
}
)이 실험에서는 텍스트 데이터에서 특징을 추출하고, 파이프라인을 구축하며, 하이퍼파라미터 튜닝을 통해 모델의 성능을 평가하는 방법을 보여주었습니다. 20newsgroups 데이터셋을 사용하여 RandomizedSearchCV 를 활용하여 파이프라인에 대한 최적의 하이퍼파라미터 조합을 찾고, Plotly.express 를 이용하여 결과를 시각화하는 방법을 보여주었습니다.