77개 가이드형 시나리오 랩으로 Hadoop 생태계를 실무적으로 익힙니다. 일상적인 HDFS 작업과 storage control에서 시작해 MapReduce data flow, YARN resource management, 폭넓은 Hive 및 HiveQL 과제로 이어집니다.
하나의 선형 프로젝트가 아니라 큰 실습 라이브러리입니다. course manifest가 고정 순서를 요구하지 않으므로 기초부터 고급 데이터 작업까지 진행하거나 강화할 기술의 랩만 선택할 수 있습니다.
학습 내용
과정을 마치면 다음을 할 수 있습니다.
- 제공된 HDFS, YARN, Hive 환경을 설정·탐색하여 실습합니다.
- filesystem shell로 HDFS 데이터를 읽기, 찾기, 전송, 삭제, 검사하고 권한을 관리합니다.
- HDFS replication, block, DataNode, snapshot, storage policy, quota, 삭제 데이터 정리를 관리합니다.
- partitioner, sort, combiner, join, distributed cache를 포함한 MapReduce shuffle 기법을 적용합니다.
- YARN application, container, log, JAR 실행, node, scheduling, ResourceManager, NodeManager를 확인합니다.
- Hive database와 table을 만들고 변경하며 데이터를 load, insert, update, delete, import, export합니다.
- HiveQL filter, grouping과 aggregation, join과 union, sort와 distribution, function, window query를 작성합니다.
- Hive query plan, storage format, partition, bucket, schema, I/O, compression, serialization, integration, security를 살펴봅니다.
추천 대상
storage, processing, resource management, SQL형 분석을 폭넓게 가이드 실습하려는 Hadoop 학습자를 위한 과정입니다. 범위를 넓히려는 초보자와 HDFS, MapReduce, YARN, Hive를 선택해 연습하려는 기존 학습자 모두에게 적합합니다.
선수 지식: Linux 터미널, 파일, 권한, 기본 데이터 처리 개념에 익숙해야 합니다. 전체 과정은 Beginner이지만 MapReduce, YARN, 고급 Hive 전에 Hadoop과 SQL 입문 지식을 강하게 권장합니다.
학습 환경: 77개 랩은 제공된 Hadoop 환경에서 실행되며 상세 지침과 솔루션을 포함합니다. 주로 명령과 query로 작업하고 외부 cloud cluster나 개인 service account는 요구 사항으로 나열되지 않습니다.
자주 묻는 질문
77개 랩을 모두 순서대로 완료해야 하나요?
아닙니다. 필수 순서가 아닌 비순차 실습 모음으로 설정되어 있습니다. 초보자는 HDFS 설정과 기본 파일 작업부터 시작한 뒤 MapReduce, YARN, 고급 Hive로 진행하는 것이 좋습니다.
Hadoop 실전 챌린지와 무엇이 다른가요?
Hadoop Practice Labs는 네 개의 큰 영역에 걸친 77개 가이드 활동입니다. Hadoop Practice Challenges는 HDFS 파일 시스템 명령에 집중한 훨씬 작은 12개 챌린지 모음입니다.
Spark나 Pig도 포함하나요?
아닙니다. HDFS, 일부 MapReduce pattern, YARN, Hive/HiveQL을 다룹니다. 77개 주제에 Spark와 Pig는 없습니다.
production Hadoop cluster를 deploy하고 operate하나요?
아닙니다. 제공된 학습 환경에서 설정과 component 작업을 연습합니다. production infrastructure design, multi-node deployment, capacity planning, monitoring, service operation은 확인된 학습 결과가 아닙니다.
