이 문서는 머신러닝 면접에서 뛰어난 성과를 거두는 데 필요한 지식과 자신감을 갖추도록 설계된 포괄적인 가이드입니다. 이 문서는 기초적인 ML 개념과 고급 딥러닝 기술부터 실제 구현, 시스템 설계 및 윤리적 고려 사항에 이르기까지 광범위한 주제를 세심하게 다룹니다. ML 엔지니어, 데이터 과학자 또는 연구 과학자를 목표로 하든, 이 자료는 맞춤형 질문과 답변, 시나리오 기반 도전 과제, MLOps 및 문제 해결에 대한 통찰력을 제공합니다. 머신러닝 전체 수명 주기에 걸쳐 이해도를 높이고 전문성을 선보일 준비를 하십시오.
답변:
지도 학습은 레이블이 지정된 데이터를 사용하여 모델을 훈련하여 예측 (예: 분류, 회귀) 합니다. 비지도 학습은 레이블이 없는 데이터에서 패턴을 찾습니다 (예: 클러스터링, 차원 축소). 강화 학습은 보상 신호를 최대화하기 위해 환경과 상호 작용하여 의사 결정을 내리도록 에이전트를 훈련합니다.
답변:
과적합은 모델이 훈련 데이터를 너무 잘 학습하여 보지 못한 데이터에서 성능이 저하되는 경우입니다. 과소적합은 모델이 너무 단순하여 내재된 패턴을 포착하지 못하는 경우입니다. 과적합은 정규화 (regularization), 교차 검증 (cross-validation) 또는 더 많은 데이터를 사용하여 해결할 수 있습니다. 과소적합은 더 복잡한 모델을 사용하거나 더 많은 특성 (feature) 을 추가하여 해결할 수 있습니다.
답변:
편향 - 분산 트레이드오프는 모델의 복잡성과 일반화 오류 (generalization error) 간의 관계를 설명합니다. 높은 편향 (과소적합) 은 모델이 너무 단순하여 강력한 가정을 한다는 것을 의미합니다. 높은 분산 (과적합) 은 모델이 너무 복잡하여 훈련 데이터의 노이즈에 민감하다는 것을 의미합니다. 목표는 총 오류를 최소화하는 균형을 찾는 것입니다.
답변:
교차 검증은 데이터를 여러 하위 집합으로 분할하여 모델의 성능과 일반화 능력을 평가하는 기법입니다. 과적합을 방지하는 데 도움이 되며, 모델이 보지 못한 데이터에서 어떻게 작동할지에 대한 보다 강력한 추정치를 제공하여 단일 훈련 - 테스트 분할에 대한 의존도를 줄입니다.
답변:
혼동 행렬은 분류 모델의 성능을 요약하며, 참 양성 (true positives), 참 음성 (true negatives), 거짓 양성 (false positives), 거짓 음성 (false negatives) 을 보여줍니다. 파생 지표에는 정확도 (accuracy), 정밀도 (precision, TP / (TP + FP)), 재현율 (recall, TP / (TP + FN)), F1-점수 (F1-score) 가 포함되며, 이는 정확도만으로는 알 수 없는 모델 성능에 대한 보다 미묘한 관점을 제공합니다.
답변:
경사 하강법은 비용 함수 (cost function) 를 최소화하는 데 사용되는 반복적인 최적화 알고리즘입니다. 현재 지점에서 함수의 기울기 (gradient) 의 음수에 비례하는 단계별 이동을 수행하여 작동합니다. 학습률 (learning rate) 은 이러한 단계의 크기를 결정하여 모델 매개변수를 비용 함수의 최소값으로 안내합니다.
답변:
SVM 의 장점으로는 고차원 공간에서의 효과성, 메모리 효율성, 커널 함수 (kernel functions) 를 통한 다용성 등이 있습니다. 단점으로는 높은 훈련 시간으로 인해 대규모 데이터셋에서 성능이 저하되고, 올바른 커널을 선택하기 어렵고, 직접적인 확률 추정치가 부족하다는 점 등이 있습니다.
답변:
특성 (feature) 과 대상 (target) 간의 관계가 선형적일 가능성이 있거나 특성 가중치 (feature weights) 의 해석 가능성이 중요할 때는 로지스틱 회귀를 사용합니다. 관계가 비선형적이거나, 특성 간 상호 작용이 복잡하거나, 과적합될 수 있더라도 의사 결정 과정을 쉽게 시각화하고 이해해야 할 때는 의사 결정 트리를 사용합니다.
답변:
정규화는 손실 함수 (loss function) 에 페널티 항을 추가하여 과적합을 방지하고 지나치게 복잡한 모델을 억제하는 데 사용되는 기법입니다. 모델의 분산을 줄이는 데 도움이 됩니다. 두 가지 일반적인 유형은 L1 정규화 (Lasso) 로 계수의 절대값을 더하고, L2 정규화 (Ridge) 로 계수의 제곱값을 더하는 것입니다.
답변:
차원의 저주는 고차원 공간에서 데이터를 분석하고 구성할 때 발생하는 다양한 현상을 의미합니다. 특성 또는 차원의 수가 증가함에 따라 데이터가 극도로 희소해져 모델이 의미 있는 패턴을 찾기 어렵게 만들고, 계산 비용 증가 및 잠재적 과적합으로 이어집니다.
답변:
전이 학습은 일반적으로 대규모 데이터셋으로 훈련된 사전 훈련된 모델을 새로운 관련 작업의 시작점으로 재사용하는 것을 포함합니다. 이는 훈련 시간을 줄이고, 새로운 작업에 더 적은 데이터가 필요하며, 특히 대상 데이터셋이 작을 때 더 나은 성능을 달성하는 경우가 많다는 이점이 있습니다.
답변:
GAN 은 두 개의 신경망, 즉 생성자 (generator) 와 판별자 (discriminator) 로 구성되어 서로 경쟁합니다. 생성자는 합성 데이터 (예: 이미지) 를 생성하고, 판별자는 실제 데이터와 생성된 데이터를 구별하려고 시도합니다. 생성자가 실제 데이터와 구별할 수 없는 데이터를 생성할 때까지 제로섬 게임 (zero-sum game) 으로 동시에 훈련됩니다.
답변:
소실 기울기 문제는 여러 계층을 통한 역전파 (backpropagation) 중에 기울기가 매우 작아져 초기 계층이 학습하기 어렵게 되는 경우입니다. 폭발 기울기는 그 반대로 불안정한 훈련으로 이어집니다. 해결책으로는 ReLU 활성화 함수 사용, 기울기 클리핑 (gradient clipping), LSTM 또는 GRU 와 같은 특수 아키텍처 사용 등이 있습니다.
답변:
어텐션 메커니즘은 모델이 전체 시퀀스를 균일하게 처리하는 대신, 예측을 할 때 입력 시퀀스의 특정 부분에 집중할 수 있도록 합니다. 이는 긴 시퀀스에 중요하며, 다른 입력 요소의 중요도에 가중치를 부여하여 기계 번역과 같은 작업에서 성능을 향상시킵니다.
답변:
L1 정규화 (Lasso) 는 계수의 절대값을 손실 함수에 추가하여 일부 계수를 0 으로 만들어 특성 선택 (feature selection) 을 효과적으로 수행하고 희소성 (sparsity) 을 촉진합니다. L2 정규화 (Ridge) 는 계수의 제곱값을 추가하여 계수를 0 으로 수축시키지만 거의 0 으로 만들지는 않으며, 모델 복잡성을 줄여 과적합을 방지하는 데 도움이 됩니다.
답변:
트랜스포머는 순환 (recurrent) 또는 컨볼루션 (convolutional) 계층 대신 전적으로 어텐션 메커니즘 (셀프 어텐션 및 인코더 - 디코더 어텐션) 에 의존하는 딥러닝 모델입니다. 강력한 이유는 계산의 병렬화, 장거리 의존성 (long-range dependencies) 의 효과적인 처리, 시퀀스 내 복잡한 관계를 포착하는 능력에 있습니다.
답변:
불균형 데이터셋에 대한 기법으로는 소수 클래스 오버샘플링 (예: SMOTE), 다수 클래스 언더샘플링, 정확도 대신 다른 평가 지표 (예: F1-점수, 정밀도, 재현율, AUC-ROC) 사용, 비용 민감 학습 (cost-sensitive learning) 또는 앙상블 방법 (예: BalancedBaggingClassifier) 과 같은 알고리즘적 접근 방식 사용 등이 있습니다.
답변:
컨볼루션 계층은 입력 데이터 (예: 이미지) 에 학습 가능한 필터 (커널) 세트를 적용하여 특성을 추출합니다. 각 필터는 입력 위를 슬라이딩하면서 내적 (dot products) 을 수행하고 특성 맵 (feature map) 을 생성합니다. 이 과정은 공간 계층 구조와 지역 패턴을 포착하여 CNN 을 이미지 인식에 효과적으로 만듭니다.
답변:
드롭아웃은 훈련 중에 무작위로 선택된 뉴런을 일시적으로 무시 (드롭아웃) 하는 정규화 기법입니다. 이는 훈련 데이터에 대한 복잡한 공동 적응 (co-adaptations) 을 방지하여 네트워크가 더 강력한 특성을 학습하도록 강제합니다. 이는 효과적으로 더 작은 네트워크의 앙상블을 훈련하여 과적합을 줄입니다.
답변:
오토인코더는 입력을 재구성하도록 훈련된 신경망입니다. 입력 데이터를 더 낮은 차원의 잠재 표현 (latent representation) 으로 압축하는 인코더와 이 표현에서 입력을 재구성하는 디코더로 구성됩니다. 주요 응용 분야로는 차원 축소, 특성 학습, 이상 탐지 (anomaly detection), 노이즈 제거 (denoising) 등이 있습니다.
답변:
사용자 시청 기록, 평점, 영화 메타데이터 (장르, 출연진), 사용자 인구 통계 정보를 사용하겠습니다. 협업 필터링 모델 (예: 행렬 분해) 또는 딥러닝 접근 방식 (예: 신경망 협업 필터링) 이 적합할 것입니다. 콜드 스타트 (cold start) 의 경우 영화 메타데이터를 사용한 콘텐츠 기반 추천을 활용하겠습니다.
답변:
오버샘플링 (SMOTE), 언더샘플링 또는 합성 데이터 생성과 같은 기법을 사용하겠습니다. 모델 훈련 중에는 불균형 데이터셋에 정확도보다 더 유익한 정밀도 (Precision), 재현율 (Recall), F1-점수 (F1-score) 또는 AUC-ROC 와 같은 평가 지표에 집중하겠습니다. 이상 탐지 알고리즘도 고려할 수 있습니다.
답변:
아키텍처에는 수신 이메일을 위한 메시지 큐 (예: Kafka) 가 포함될 것입니다. 스트림 처리 엔진 (예: Flink, Spark Streaming) 은 메시지를 소비하고, 특성 (텍스트, 발신자 정보) 을 추출하여 사전 훈련된 ML 모델 (예: 나이브 베이즈, SVM 또는 텍스트 분류를 위한 BERT 와 같은 딥러닝 모델) 에 전달할 것입니다. 결과는 저장되고 조치 (격리, 플래그 지정) 가 취해질 것입니다.
답변:
사용자를 제어 그룹 (A) 과 처리 그룹 (B) 으로 분할하고 무작위 할당을 보장하겠습니다. 추적할 주요 지표에는 클릭률 (CTR), 전환율 (conversion rate), 평균 세션 지속 시간, 사용자 참여도 등이 포함될 것입니다. 새로운 알고리즘이 통계적으로 유의미하게 더 나은 성능을 보이는지 확인하기 위해 통계적 유의성 검정 (예: t-검정, 카이제곱 검정) 을 사용할 것입니다.
답변:
주요 고려 사항에는 모델 양자화/가지치기 (quantization/pruning), 최적화된 추론 프레임워크 (예: TensorFlow Lite, ONNX Runtime) 사용, 하드웨어 가속기 (GPU, TPU) 활용 등이 있습니다. 요청을 배치 (batching) 하면 처리량을 개선할 수 있으며, 효율적인 모델 서빙 (예: TensorFlow Serving, TorchServe) 및 분산 추론은 지연 시간을 줄일 수 있습니다.
답변:
먼저 데이터 파이프라인의 무결성과 최신 상태를 확인하겠습니다. 그런 다음 사용자의 상호 작용 기록과 추천된 항목을 분석하여 관련 없는 패턴을 식별하겠습니다. 이는 특성 엔지니어링, 모델 편향 또는 유사성 메트릭의 문제를 확인하는 것을 포함할 수 있습니다. 다른 모델 버전 또는 특성 세트를 A/B 테스트하는 것도 진단에 도움이 될 수 있습니다.
답변:
비정상적인 로그 빈도, 드문 오류 메시지, 예상치 못한 이벤트 시퀀스 또는 정상적인 리소스 사용량과의 편차를 찾겠습니다. 기법에는 통계적 방법 (예: Z-점수, IQR), Isolation Forest, One-Class SVM 과 같은 머신러닝 모델 또는 비지도 이상 탐지를 위한 오토인코더가 포함됩니다. 시계열 분석 (time-series analysis) 도 적용할 수 있습니다.
답변:
보호 속성 (예: 인종, 성별) 을 식별하고 모델 예측과의 상관 관계를 분석하겠습니다. 기법에는 전처리 (예: 샘플 재가중치), 인프로세싱 (예: 훈련 중 적대적 편향 완화), 후처리 (예: 임계값 조정) 가 포함됩니다. 정기적인 감사 및 공정성 지표 (예: 인구 통계학적 동등성, 균등화된 오즈) 가 중요합니다.
답변:
중요한 특성에는 고객 인구 통계, 사용 패턴, 청구 내역, 고객 서비스 상호 작용 및 최근 제품 변경 사항이 포함됩니다. 개념 드리프트를 처리하기 위해 지속적인 모델 모니터링을 구현하고, 신선한 데이터로 모델을 정기적으로 재훈련하며, 변화하는 데이터 분포에 조정할 수 있는 적응형 학습 알고리즘을 사용할 수 있습니다.
답변:
확장 가능한 아키텍처에는 일관된 데이터를 위한 중앙 집중식 특성 저장소 (feature store) 가 포함될 것입니다. 모델 훈련은 클라우드 플랫폼에서 분산 컴퓨팅 프레임워크 (예: Spark, Ray) 를 사용할 수 있습니다. 서빙을 위해 모델 레지스트리 (model registry) 가 버전을 관리하고, 서빙 계층 (예: FastAPI/Flask를 사용한 Kubernetes 또는 클라우드 ML 서비스) 은 API 요청을 처리하며, 잠재적으로 로드 밸런싱 및 자동 확장을 포함할 것입니다. MLOps 도구는 수명 주기를 자동화할 것입니다.
답변:
오버샘플링 (SMOTE, ADASYN), 언더샘플링 (RandomUnderSampler), 손실 함수에 클래스 가중치 사용 또는 불균형에 강건한 알고리즘 (예: 트리 기반 모델) 사용과 같은 기법을 사용합니다. F1-점수, 정밀도, 재현율, AUC-ROC 와 같은 평가 지표가 정확도보다 더 적합합니다.
답변:
교차 검증은 통계 분석 결과를 독립적인 데이터셋에 얼마나 일반화할 수 있는지 평가하는 기법입니다. 모델의 성능이 보지 못한 데이터에 대해 평가되도록 하여 과적합 (overfitting) 을 방지하고 일반화 능력에 대한 더 신뢰할 수 있는 추정치를 제공하는 데 도움이 됩니다.
답변:
GAN 은 사실적인 이미지 또는 개인 정보 보호를 위한 합성 데이터와 같이 훈련 데이터를 닮은 새로운 데이터 인스턴스를 생성하는 데 사용됩니다. GAN 은 데이터를 생성하는 생성자 네트워크 (generator network) 와 실제 데이터와 생성된 데이터를 구별하려고 시도하는 판별자 네트워크 (discriminator network) 로 구성되며, 적대적 프로세스 (adversarial process) 로 훈련됩니다.
답변:
이는 과적합을 나타냅니다. 먼저 데이터 누수 (data leakage) 를 확인하고, 정규화 기법 (L1/L2, 드롭아웃) 을 시도하거나, 훈련 데이터 양을 늘리거나, 모델 아키텍처를 단순화하거나, 조기 종료 (early stopping) 를 사용하겠습니다.
답변:
선택은 문제 유형 (분류, 회귀, 클러스터링), 데이터 특성 (크기, 선형성, 특성 유형), 해석 가능성 요구 사항 및 계산 리소스에 따라 달라집니다. 간단한 모델부터 시작하여 성능과 통찰력을 기반으로 반복하겠습니다.
답변:
def calculate_mse(actual, predicted):
if len(actual) != len(predicted):
raise ValueError('Lists must have the same length')
squared_errors = [(a - p)**2 for a, p in zip(actual, predicted)]
return sum(squared_errors) / len(actual)답변:
프로덕션 배포는 모델 패키징 (예: ONNX 또는 Pickle 사용), API 엔드포인트 생성 (예: Flask, FastAPI), 성능 및 데이터 드리프트 모니터링 설정, 확장 가능한 인프라 (예: Docker, Kubernetes, AWS SageMaker 와 같은 클라우드 서비스) 에 배포하는 것을 포함합니다.
답변:
편향 (Bias) 은 학습 알고리즘의 잘못된 가정으로 인한 오류를 의미하며, 이는 과소적합 (underfitting) 으로 이어집니다. 분산 (Variance) 은 훈련 세트의 작은 변동에 대한 민감도로 인한 오류를 의미하며, 이는 과적합 (overfitting) 으로 이어집니다. 트레이드오프는 이 두 가지 오류 원인을 균형 있게 맞춰 총 오류를 최소화하는 모델 복잡성을 찾는 것입니다.
답변:
특성 스케일링은 데이터의 독립 변수 또는 특성 범위를 정규화하는 과정입니다. 이는 더 큰 범위의 특성이 목적 함수를 지배하는 것을 방지하기 위해 거리 계산 (예: K-NN, SVM) 또는 경사 하강법 (예: 신경망, 로지스틱 회귀) 에 의존하는 알고리즘에 중요합니다.
답변:
전이 학습은 새로운 작업에 대한 데이터셋이 작지만 관련 작업에 대한 데이터셋이 클 때 사용됩니다. 예를 들어, 제한된 데이터로 특정 이미지 분류 작업을 위해 사전 훈련된 ImageNet 모델 (예: ResNet 또는 VGG) 을 미세 조정 (fine-tuning) 하여 학습된 특성을 활용하는 것입니다.
답변:
A/B 테스트는 두 개 이상의 모델 버전 (A 대 B) 을 비교하여 실제 환경에서 어떤 모델이 더 나은 성능을 보이는지 결정합니다. 반면, A/A 테스트는 두 개의 동일한 모델 버전을 비교하여 테스트 인프라를 검증하고 새로운 모델 버전을 도입하기 전에 내재된 편향이 없는지 확인합니다.
답변:
모델 드리프트는 입력 특성과 대상 변수 간의 관계가 시간이 지남에 따라 변경되어 모델 성능이 저하될 때 발생합니다. 이는 입력 데이터 분포 (데이터 드리프트) 를 모니터링하거나, 모델 예측을 추적하고 실제 결과와 비교 (개념 드리프트) 함으로써 탐지할 수 있으며, 시간 경과에 따른 정확도, 정밀도 또는 재현율과 같은 지표을 사용합니다.
답변:
일반적인 MLOps 파이프라인은 데이터 수집 및 검증, 모델 훈련 및 평가, 모델 버전 관리, 모델 배포 (예: REST API 로), 성능 및 드리프트 모니터링, 그리고 새로운 데이터 또는 성능 저하에 따른 모델 재훈련을 포함합니다. 자동화 및 지속적 통합/지속적 배포 (CI/CD) 는 이러한 모든 단계에서 중요합니다.
답변:
공정성을 보장하려면 공정성 지표 (예: 인구 통계학적 동등성, 균등화된 기회) 를 정의하고 배포 후 이를 모니터링해야 합니다. 완화 전략에는 훈련 데이터 재샘플링, 샘플 재가중치 또는 적대적 편향 완화 기법 사용이 포함됩니다. 모델 결정에 대한 정기적인 감사와 투명성 또한 중요합니다.
답변:
컨테이너화는 모든 종속성을 번들로 묶어 모델에 대해 일관되고 격리된 환경을 제공합니다. 이는 재현성을 보장하고, 다양한 환경 (개발, 스테이징, 프로덕션) 에서의 배포를 단순화하며, 확장성을 간소화합니다. '내 컴퓨터에서는 작동하는데'와 같은 문제를 해결해 줍니다.
답변:
배치 추론은 일일 보고서 또는 대규모 데이터 처리와 같이 즉각적인 예측이 필요하지 않은 시나리오에 적합하며 처리량을 우선시합니다. 실시간 추론은 사기 탐지 또는 추천 시스템과 같이 즉각적인 예측이 필요한 경우에 필요하며 낮은 지연 시간과 응답성을 우선시합니다.
답변:
모델 롤백은 새로운 배포가 문제를 일으킬 경우 (예: 성능 저하, 오류) 배포된 모델을 이전의 안정적인 버전으로 신속하게 되돌릴 수 있는 기능입니다. 이는 다운타임을 최소화하고 서비스 안정성을 유지하며 프로덕션 환경에서 비즈니스 연속성을 보장하는 데 중요합니다.
답변:
모델 성능은 주요 비즈니스 지표, 모델별 지표 (예: 정확도, F1-점수, RMSE) 및 시스템 상태 지표 (지연 시간, 처리량, 오류율) 를 추적하여 모니터링합니다. 대시보드와 알림 시스템을 사용하여 추세를 시각화하고 이상 징후 또는 성능 저하를 이해 관계자에게 알립니다.
답변:
특성 저장소는 머신러닝 모델을 위한 특성을 관리하고 제공하는 중앙 집중식 저장소입니다. 이는 훈련 및 추론에 사용되는 특성 간의 일관성을 보장하고, 특성 엔지니어링 중복을 줄이며, 팀 전체의 데이터 거버넌스 및 검색 가능성을 향상시킵니다.
답변:
카나리 배포는 전체 롤아웃 전에 새로운 모델 버전을 소수의 사용자 또는 트래픽에 점진적으로 출시하는 것을 포함합니다. 이를 통해 최소한의 위험으로 새로운 모델의 실제 테스트 및 성능 모니터링이 가능하며, 모든 사용자에게 영향을 미치기 전에 문제가 발생할 경우 신속하게 롤백할 수 있습니다.
답변:
데이터 드리프트 (입력 데이터 분포 변경) 와 개념 드리프트 (입력과 출력 간의 관계 변경) 를 먼저 확인하겠습니다. 그런 다음, 파이프라인 로그에서 오류, 리소스 고갈 또는 데이터 유효성 검사 실패를 검사하겠습니다. 마지막으로, 프로덕션 데이터와 모델 예측을 훈련 데이터 및 알려진 양호한 예측과 비교하겠습니다.
답변:
데이터 누수는 훈련 데이터 외부의 정보 또는 미래 정보가 모델 생성에 사용될 때 발생합니다. 일반적인 원인으로는 대상 관련 특성 사용, 부적절한 데이터 분할 (예: 시계열 데이터의 경우 시간별 분할이 아닌 경우), 또는 분할 전에 전체 데이터셋을 사전 처리하는 것 등이 있습니다. 방지하려면 훈련/검증/테스트 세트를 엄격하게 분리하고 신중한 특성 엔지니어링을 수행해야 합니다.
답변:
이는 과적합 또는 데이터 불일치를 나타냅니다. 먼저 별도의 검증 세트에서 평가하고 학습 곡선을 분석하여 과적합 여부를 확인하겠습니다. 과적합이 아니라면, 훈련 데이터와 프로덕션/보지 못한 데이터 간의 데이터 분포 차이 (데이터 드리프트) 를 조사하고 평가 지표가 비즈니스 목표와 일치하는지 확인하겠습니다.
답변:
데이터 편향의 경우, 특성 분포를 분석하고 로그 스케일링 또는 정규화와 같은 변환을 고려하겠습니다. 클래스 불균형의 경우, 정확도 대신 적절한 지표 (정밀도, 재현율, F1-점수, AUC-ROC) 를 사용하겠습니다. 오버샘플링 (SMOTE), 언더샘플링 또는 훈련 중 클래스 가중치 사용과 같은 기법으로 문제를 완화할 수 있습니다.
답변:
로깅은 파이프라인 실행, 오류 및 데이터 변환에 대한 세분화된 통찰력을 제공합니다. 모니터링은 주요 성능 지표와 시스템 상태를 시간에 따라 추적합니다. 모델 성능 지표 (예: 정확도, F1, RMSE), 데이터 품질 지표 (결측값, 이상치), 예측 지연 시간 및 리소스 사용량 (CPU, 메모리) 을 모니터링하겠습니다.
답변:
NaN 은 종종 0 으로 나누기, 양수가 아닌 숫자의 로그 또는 기존 NaN 과의 연산에서 발생합니다. 파이프라인을 추적하여 각 단계의 데이터를 확인하고 변환 또는 처리되지 않은 결측값으로 인해 도입된 NaN 을 확인하겠습니다. 중간 단계에서 np.isnan() 또는 df.isnull().sum()을 사용하면 소스를 파악하는 데 도움이 됩니다.
답변:
모델 드리프트는 배포된 모델의 성능이 기본 데이터 분포 (데이터 드리프트) 또는 특성과 대상 간의 관계 (개념 드리프트) 의 변화로 인해 시간이 지남에 따라 저하될 때 발생합니다. 실시간 데이터에 대한 모델 성능을 지속적으로 모니터링하고 입력/출력 분포를 비교하여 이를 탐지하겠습니다. 이를 해결하려면 종종 최신 데이터로 모델을 재훈련해야 합니다.
답변:
재현성은 모든 것 (코드, 데이터, 종속성 및 모델 아티팩트) 을 버전 관리함으로써 보장됩니다. 코드에 Git, 데이터/모델 버전에 DVC 또는 MLflow, 환경 관리에 Docker/Conda와 같은 도구를 사용하는 것이 도움이 됩니다. 모든 확률적 프로세스에 대한 랜덤 시드 (random seed) 를 설정하는 것도 중요합니다.
답변:
먼저 데이터 병목 현상 (예: 느린 데이터 로딩, I/O 문제) 과 비효율적인 데이터 증강을 확인하겠습니다. 그런 다음 모델의 순방향 및 역방향 패스를 프로파일링하여 느린 레이어 또는 연산을 식별하겠습니다. 배치 크기 줄이기, 혼합 정밀도 훈련 사용 또는 하드웨어 활용 최적화 (예: GPU 메모리) 도 도움이 될 수 있습니다.
답변:
일관된 편향은 클래스 불균형, 편향된 훈련 데이터 또는 부적절한 손실 함수/평가 지표와 같은 문제를 시사합니다. 예측 분포를 분석하고, 훈련 데이터에서 특정 그룹의 과소 표현 여부를 확인하며, 공정성 지표를 평가하겠습니다. 재샘플링, 재가중치 또는 공정성을 고려한 알고리즘 사용이 편향 완화에 도움이 될 수 있습니다.
답변:
AI 편향은 머신러닝 프로세스의 결함 있는 가정이나 편향된 훈련 데이터로 인해 AI 시스템이 편견된 결과를 생성할 때 발생합니다. 일반적인 예로는 훈련 데이터가 주로 피부색이 밝은 사람으로 구성되어 있어 피부색이 어두운 사람에 대해 안면 인식 시스템의 성능이 떨어지는 경우가 있습니다.
답변:
편향은 다양한 방법을 통해 탐지할 수 있습니다. 여기에는 서로 다른 인구 통계 그룹 간의 모델 성능 분석 (예: 정확도, 정밀도, 재현율), 불균등 영향 (disparate impact) 또는 균등화된 기회 (equalized odds) 와 같은 공정성 지표 사용, 특정 하위 그룹에 대한 오류 분석 수행 등이 포함됩니다. 훈련 데이터에 대한 데이터 시각화 및 통계 테스트도 내재된 편향을 드러낼 수 있습니다.
답변:
전략에는 더 다양하고 대표성 있는 훈련 데이터 수집, 재샘플링 기법 사용 (예: 소수 클래스 오버샘플링), 재가중치 또는 적대적 편향 완화와 같은 사전 처리 기법 적용, 모델 예측을 조정하기 위한 사후 처리 방법 사용 등이 포함됩니다. 모델 훈련 중 알고리즘 공정성 제약 조건도 도움이 될 수 있습니다.
답변:
무인지향적 공정성은 모델이 편향을 학습하지 않도록 민감한 속성 (인종 또는 성별과 같은) 을 훈련 데이터에서 제외하는 것을 의미합니다. 그 한계는 모델이 상관 관계가 있는 특성 (예: 인종과 상관 관계가 있는 우편 번호) 에서 민감한 속성을 여전히 추론할 수 있어, 직접적인 제외에도 불구하고 간접적인 차별을 초래할 수 있다는 것입니다.
답변:
설명 가능한 AI(XAI) 는 AI 모델의 예측을 인간이 더 잘 이해할 수 있도록 만드는 방법과 기술을 의미합니다. 이는 이해 관계자가 의사 결정이 어떻게 이루어지는지 면밀히 조사하고, 잠재적인 편향을 식별하며, 책임을 보장하고, 특히 고위험 애플리케이션에서 시스템에 대한 신뢰를 구축할 수 있도록 하기 때문에 윤리적 AI 에 매우 중요합니다.
답변:
차별적 대우는 모델이 보호 속성 (예: 인종) 을 명시적으로 사용하여 결정을 내릴 때 발생하며, 이는 다른 그룹에 대해 다른 대우를 초래합니다. 차별적 영향은 겉보기에는 중립적인 정책이나 모델이 보호 속성을 명시적으로 사용하지 않더라도 보호 그룹에 불균형적으로 해를 끼칠 때 발생합니다.
답변:
데이터 개인 정보를 보장하려면 익명화, 가명화, 차분 프라이버시 (개별 기록을 보호하기 위해 데이터에 노이즈 추가) 및 연합 학습 (원시 데이터를 공유하지 않고 분산된 데이터에서 모델 훈련) 과 같은 기술이 포함됩니다. GDPR 및 CCPA 와 같은 규정 준수도 중요합니다.
답변:
모델 해석 가능성은 인간이 모델 예측의 원인과 결과를 이해할 수 있는 정도를 의미합니다. 설명 가능성은 특정 예측에 대한 인간이 이해할 수 있는 설명을 제공하는 것입니다. 해석 가능성은 더 넓은 개념인 반면, 설명 가능성은 해석 가능성을 달성하는 특정 결과입니다.
답변:
인간 참여 루프 접근 방식은 AI 시스템에 인간의 감독 및 개입을 통합합니다. 인간이 오류를 포착하고, 편향을 식별하며, 맥락적 이해를 제공하고, 중요한 상황에서 최종 결정을 내릴 수 있도록 하여 책임을 보장하고 순전히 알고리즘적인 피해를 방지하기 때문에 윤리적 AI 에 매우 중요합니다.
답변:
의료 분야에서는 진단 정확도, 환자 개인 정보 보호, 공평한 접근성 및 치료 권장 사항의 잠재적인 알고리즘 편향과 같은 문제가 있습니다. 금융 분야에서는 대출 승인, 신용 점수, 사기 탐지에서의 공정성 및 경제적 불평등을 악화시킬 수 있는 차별적 관행 방지와 같은 문제가 있습니다.
ML 인터뷰 환경을 탐색하는 것은 어려울 수 있지만, 이러한 질문과 답변에 설명된 철저한 준비는 가장 강력한 도구입니다. 일반적인 기술 개념, 문제 해결 접근 방식 및 행동 기대치를 이해함으로써 자신의 역량을 입증하고 원하는 역할을 확보할 가능성을 크게 높일 수 있습니다.
머신러닝 분야는 끊임없이 발전하고 있다는 점을 기억하십시오. 이 문서는 강력한 기반 역할을 하지만, 지속적인 학습, 실습 및 새로운 개발 동향 파악은 장기적인 성공에 매우 중요합니다. 평생 학습의 여정을 받아들이고 인터뷰에서 행운을 빕니다!
