초보자를 위한 Hadoop은 소매업체의 일일 파일을 통해 빅데이터 저장과 배치 처리를 소개합니다. 실제 Hadoop 환경에서 HDFS, MapReduce, YARN의 역할을 이해한 뒤 입력을 준비하고 계산을 실행하여 결과를 확인합니다.
안내 실습 9개와 도전 과제 3개로 구성됩니다. 실습은 개념과 작업을 설명하고, 도전 과제는 새 데이터에 이미 연습한 기술을 적용합니다. 각 활동은 파일과 서비스를 독립적으로 준비합니다.
학습 내용
과정을 마치면 다음을 할 수 있습니다.
- 로컬 파일과 HDFS를 구분하고 Hadoop 환경 설정 확인하기;
- 원본 배치 입력을 보존하면서 파일 업로드, 정리, 복사와 내보내기;
- 블록과 복제본을 확인하고 파일 및 디렉터리 권한 테스트하기;
- Map, Shuffle, Reduce를 거치는 키/값 쌍의 흐름 추적하기;
- YARN 작업 제출, 상태와 로그 확인, 결과 검증과 별도 출력으로 재실행하기;
- 입력 누락, 출력 충돌, 연결 오류와 처리 태스크 실패 진단하기.
추천 대상
빅데이터나 데이터 엔지니어링을 처음 배우며 클러스터 관리에 앞서 준비된 Hadoop 시스템을 사용하려는 학습자에게 적합합니다.
선수 지식: 기본 터미널 사용법이 필요합니다. Hadoop, Java, Python 경험은 필요하지 않습니다.
학습 환경: LabEx가 브라우저에서 준비된 Linux 터미널을 제공합니다. 단일 노드로 실제 Hadoop 작업을 배우며 운영 클러스터 배포는 다루지 않습니다.
자주 묻는 질문
빅데이터나 프로그래밍을 몰라도 시작할 수 있나요?
네. 기본적인 터미널 사용법을 알면 됩니다. Hadoop을 사용하는 이유와 HDFS 저장, MapReduce 처리, YARN 자원 관리의 관계부터 설명합니다. Java나 Python 코드를 작성할 필요는 없습니다.
빅데이터 학습 경로에서 이 과정은 어떤 위치인가요?
이 과정에서 저장과 배치 처리의 기초를 익힌 뒤 Hive, Spark, Kafka로 이어가는 것을 권장합니다. 도전 과제는 안내 실습 뒤에 배치되며 이 과정에서 이미 소개한 기술만 사용합니다.
Hadoop을 설치하거나 클러스터를 대여해야 하나요?
아니요. 활동마다 브라우저에서 사용할 수 있는 준비된 LabEx 환경을 제공합니다. 단일 노드의 실제 Hadoop 서비스를 사용하며 운영 환경의 내결함성이나 분산 처리 성능을 입증하는 실습은 아닙니다.
