실습 튜토리얼

이 실습에서는 scikit-learn 의 sklearn.metrics.pairwise 서브모듈을 탐색합니다. 이 모듈은 샘플 집합 간의 쌍대 거리 및 친화도를 계산하는 유틸리티를 제공합니다.

머신러닝에서 모델 학습 전 예측 대상을 변환하는 작업은 필수적입니다. 이는 다중 클래스 레이블을 이진 표시 행렬로 변환하거나 숫자가 아닌 레이블을 숫자 레이블로 인코딩하는 작업을 포함합니다.

이 튜토리얼에서는 scikit-learn 에서 커널 근사 기법을 사용하는 방법을 안내합니다.

많은 실제 데이터 세트는 누락된 값을 포함하고 있으며, 완전하고 수치적인 데이터를 가정하는 기계 학습 알고리즘을 사용할 때 문제를 일으킬 수 있습니다. 이러한 경우, 사용 가능한 데이터를 최대한 활용하기 위해 누락된 값을 적절하게 처리하는 것이 중요합니다. 일반적인 전략 중 하나는 임퓨테이션으로, 알려진 데이터 부분을 기반으로 누락된 값을 채우는 것을 포함합니다.

공분산 추정은 모집단의 공분산 행렬을 추정하는 중요한 통계 기법입니다. 공분산 행렬은 데이터 집합 내 변수 간의 관계를 나타내며, 데이터 산점도의 형태에 대한 통찰력을 제공할 수 있습니다. 이 실습에서는 Python 의 sklearn.covariance 패키지를 사용하여 공분산 행렬 추정 방법을 다양하게 탐구합니다.

부분 의존도 플롯 (PDP) 과 개별 조건부 기댓값 (ICE) 플롯은 대상 변수와 입력 특징 간의 상호작용을 시각화하고 분석하는 유용한 도구입니다. PDP 는 대상 변수와 입력 특징 간의 의존성을 보여주고, ICE 플롯은 각 개별 샘플에 대한 특징에 따른 예측의 의존성을 시각화합니다. 이러한 플롯은 대상 변수와 입력 특징 간의 관계를 이해하는 데 도움이 됩니다.

이 실습에서는 scikit-learn 라이브러리를 사용하여 차원 축소에 랜덤 투영을 적용하는 방법을 탐색합니다. 랜덤 투영은 데이터의 차원을 줄이면서 동시에 샘플 간의 쌍대 거리를 유지하는 기법입니다. 이는 머신 러닝 알고리즘의 계산 속도를 높이고 메모리 사용량을 줄이는 데 유용합니다.

이 실습에서는 예측 모델에서 변수의 중요도를 파악하는 변수 순열 중요도 방법에 대해 배웁니다. 이 방법은 해석이 어려운 비선형 또는 불투명한 모델에 특히 유용합니다.

머신러닝에서 모델이 만든 예측의 정확도를 평가하는 것은 매우 중요합니다. 이를 통해 모델의 성능을 파악하고 정확한 예측을 위해 신뢰할 수 있는지 확인할 수 있습니다. Scikit-learn 라이브러리는 예측의 품질을 정량화하기 위한 다양한 메트릭과 평가 방법을 제공합니다.

이 실습에서는 scikit-learn 라이브러리를 사용하여 특징 추출하는 방법을 배웁니다. 특징 추출은 머신러닝 알고리즘이 사용할 수 있는 숫자형 특징으로 원시 데이터를 변환하는 과정입니다. 텍스트와 이미지와 같은 다양한 유형의 데이터에서 관련 정보를 추출하는 것을 포함합니다.

머신러닝에서 모든 추정기는 장단점을 가지고 있습니다. 추정기의 일반화 오차는 편향, 분산 및 노이즈로 분해될 수 있습니다. 추정기의 편향은 서로 다른 학습 데이터 세트에 대한 평균 오차이며, 분산은 다양한 학습 데이터 세트에 대한 민감도를 나타냅니다. 노이즈는 데이터의 특성입니다.

이 랩에서는 scikit-learn 에서 제공하는 데이터 전처리 기법을 탐색합니다. 전처리는 모든 머신러닝 워크플로우에서 필수적인 단계로, 원시 데이터를 학습 알고리즘에 적합한 형식으로 변환하는 데 도움이 됩니다. 표준화, 스케일링, 정규화, 범주형 특징 인코딩, 누락된 값 임퓨팅, 다항식 특징 생성 및 사용자 정의 변환기 생성과 같은 다양한 전처리 기법을 다룹니다.

이 실습에서는 확률 변수의 확률 밀도 함수를 추정하는 밀도 추정 기법을 탐색합니다. 특히, 밀도 추정의 비모수적 방법인 커널 밀도 추정에 집중합니다.

머신러닝에서 교차검증은 독립적인 데이터셋으로 모델의 성능을 평가하는 기법입니다. 모델이 새로운 데이터에 얼마나 잘 일반화될지에 대한 더 나은 추정치를 제공하여 과적합을 방지하는 데 도움이 됩니다.

하이퍼파라미터는 추정자가 직접 학습하지 않는 매개변수입니다. 추정자 클래스의 생성자에 인수로 전달됩니다. 추정자의 하이퍼파라미터를 튜닝하는 것은 효과적인 머신러닝 모델을 구축하는 중요한 단계입니다. 이는 모델의 최상의 성능을 얻는 최적의 하이퍼파라미터 조합을 찾는 것을 포함합니다.

신규성 및 이상치 탐지는 새로운 관측치가 기존 관측치와 같은 분포에 속하는지, 아니면 다른 분포에 속하는지를 판별하는 기법입니다. 이러한 기법은 실제 데이터에서 비정상적이거나 특이한 관측치를 식별하여 데이터를 정제하는 데 일반적으로 사용됩니다.

scikit-learn 에서 파이프라인과 복합 추정기는 여러 변환기와 추정기를 단일 모델로 결합하는 데 사용됩니다. 특징 선택, 정규화, 분류와 같이 데이터 처리에 고정된 단계가 있는 경우 유용합니다. 파이프라인은 공동 매개변수 선택에도 사용될 수 있으며, 교차 검증 중 테스트 데이터의 통계가 학습된 모델에 유출되지 않도록 보장할 수 있습니다.

이 실험에서는 scikit-learn 의 행렬 분해 기법을 활용하여 신호를 구성 요소로 분해하는 방법을 탐구합니다. 주성분 분석 (PCA), 독립 성분 분석 (ICA), 비음수 행렬 분해 (NMF) 등 다양한 기법을 다룹니다. 이 실험은 신호를 구성 요소로 분해하는 과정을 단계별로 안내합니다.