12개 집중형 Hadoop 챌린지로 핵심 HDFS 파일 작업을 연습합니다. 각 활동은 작은 파일 시스템 과제, 상세 지침, 솔루션을 제공하여 원하는 결과를 적절한 Hadoop 파일 시스템 명령과 경로로 바꾸는 능력을 기릅니다.
디렉터리 탐색·생성, 파일 읽기·전송, 경로 검사, 접근 metadata 변경 등 일상적인 HDFS 데이터 작업에 의도적으로 집중합니다. Hadoop 생태계 전체를 훑는 과정이 아니라 간결한 기술 훈련입니다.
학습 내용
과정을 마치면 다음을 할 수 있습니다.
- HDFS 경로를 나열하고 체계적인 데이터 저장을 위한 디렉터리를 만듭니다.
- HDFS에서 파일 내용을 직접 읽고 경로가 조건을 만족하는지 검사합니다.
- HDFS 내부 위치 사이에서 파일이나 디렉터리를 복사·이동합니다.
- 로컬 파일을 HDFS에 upload하고 HDFS 데이터를 로컬 파일 시스템으로 download합니다.
- 새 로컬 데이터를 HDFS의 기존 파일 끝에 추가합니다.
- 적절한 명령으로 HDFS group ownership과 file ownership을 변경합니다.
- HDFS 경로에 permission mode를 적용하고 소유권 변경과 권한 변경을 구분합니다.
- 적합한
hadoop fs작업을 선택하고 결과 상태를 검증합니다.
추천 대상
HDFS가 무엇인지 이해하고 파일 시스템 shell을 짧은 상황 과제로 연습하려는 학습자를 위한 과정입니다. 명령을 한 번 배웠지만 더 큰 데이터 처리 workflow 전에 반복이 필요한 Hadoop 초보자에게도 유용합니다.
선수 지식: Linux 터미널, 파일과 디렉터리, 기본 Unix 소유권과 권한 개념에 익숙해야 합니다. 완전한 개념 입문이 아닌 챌린지 과정이므로 HDFS 경로와 hadoop fs를 접한 경험을 권장합니다.
학습 환경: 제공된 Hadoop 환경에서 수행하는 12개 command-line 챌린지입니다. 나열된 과제는 파일 시스템 작업만 사용하며 외부 cloud cluster나 개인 service account가 필요하지 않습니다.
자주 묻는 질문
Hadoop 생태계 전체를 다루나요?
아닙니다. HDFS 파일 시스템 명령에만 집중합니다. cluster 설치, MapReduce, YARN, Hive, Pig, Spark, 성능 tuning, fault-tolerant pipeline 설계는 12개 챌린지에 포함되지 않습니다.
Hadoop 실습 랩과 무엇이 다른가요?
이 과정은 HDFS shell 작업 12개에 집중한 소규모 챌린지 모음입니다. Hadoop Practice Labs는 훨씬 넓으며 HDFS 관리, MapReduce, YARN, Hive 등에 대한 가이드 실습을 포함합니다.
챌린지는 완전히 무힌트인가요?
아닙니다. 각 챌린지는 상세 지침과 솔루션이 있는 작은 과제로 설명됩니다. 작업은 직접 수행하지만 필요할 때 제공된 도움을 사용할 수 있습니다.
내 Hadoop cluster나 cloud account가 필요한가요?
외부 cluster나 cloud account는 명시되어 있지 않습니다. 제공 환경에서 실행하므로 HDFS 명령 선택과 적용에 집중할 수 있습니다.
