6개 실습에서 핵심 component를 설치하고 운영하며 동작하는 Hadoop 기초를 만듭니다. 4개 가이드 랩은 pseudo-distributed deployment, HDFS, YARN, Hive를 다루고 2개 Intermediate 챌린지는 Hadoop daemon 관리와 Hive 데이터 import를 확인합니다.
명령만 훑는 과정이 아닙니다. service를 설정하고 daemon을 시작·중지하며 log와 Web UI를 확인하고 데이터를 옮기며 작은 YARN application을 작성해 component가 학습 시스템에서 함께 작동하는 방식을 이해합니다.
학습 내용
과정을 마치면 다음을 할 수 있습니다.
- Hadoop 핵심 architecture를 설명하고 설치용 user, JDK, password-free SSH를 준비합니다.
- Hadoop을 설치해 pseudo-distributed로 구성하고 HDFS와 포함된 Pi example로 검증합니다.
- Hadoop daemon을 시작·중지·검사하고 log와 Web UI로 상태를 확인합니다.
- HDFS를 초기화하고 파일과 디렉터리를 import, export, read, create, move, remove합니다.
- command-line 작업과 WebHDFS interface로 HDFS에 접근합니다.
- YARN을 설정하고 간단한 client와 ApplicationMaster를 만들어 application을 시작합니다.
- Hive를 설치하고 metastore를 초기화하며 환경을 구성하고 기본 table과 query 작업을 수행합니다.
- 로컬 파일과 HDFS에서 Hive 데이터를 load하고 query result로 table data를 만듭니다.
추천 대상
개념 설명만이 아니라 첫 Hadoop deployment를 직접 수행하려는 개발자, 데이터 학습자, 시스템 지향 초보자를 위한 과정입니다. HDFS, YARN, Hive의 연계 설정을 익혀 더 큰 Hadoop 실습 모음 전에 학습하기에도 좋습니다.
선수 지식: user, 권한, process, configuration file, SSH를 포함한 탄탄한 Linux command-line 기초가 필요합니다. YARN 랩은 Java 기초를 명시적으로 요구하고 Hive 랩은 SQL 기초를 전제로 합니다.
학습 환경: 6개 랩은 제공된 Ubuntu 22.04 데스크톱에서 실행합니다. 학습 환경 안에 Hadoop과 Hive service를 설치·설정하고 주로 터미널과 로컬 Web UI를 사용합니다. 외부 cloud cluster나 개인 service account는 필요하지 않습니다.
자주 묻는 질문
실제 Hadoop 설치인가요, simulation인가요?
학습 환경 안에서 실제 설치합니다. JDK와 Hadoop을 설치하고 configuration file을 편집하며 HDFS와 YARN daemon을 시작하고 Hive를 deploy한 뒤 log와 검증 과제를 확인합니다.
multi-node production cluster를 구축하나요?
아닙니다. 제공 학습 시스템에서 standalone 및 pseudo-distributed deployment를 합니다. multi-node architecture, high availability, security hardening, monitoring, production operation은 6개 랩 범위 밖입니다.
어떤 Hadoop ecosystem component가 포함되나요?
Hadoop 설치, HDFS, YARN, Hive를 실습합니다. HBase, Spark, Pig는 포함되지 않으며 완전한 MapReduce programming 과정도 아닙니다.
Hadoop 실습 랩과 무엇이 다른가요?
Quick Start는 초기 설치와 연계 설정을 포함한 6개 랩의 짧은 경로입니다. Hadoop Practice Labs는 기초 후 더 폭넓은 주제를 연습하는 77개 가이드 활동의 비선형 라이브러리입니다.
