초보자를 위한 Hive는 Apache Hive와 SQL로 저장된 파일을 조회하는 방법을 가르칩니다. 소매업체의 작은 주문 데이터에서 시작하여 CSV를 테이블에 연결하고 결제 완료 매출을 계산한 뒤 다시 생성할 수 있는 지역 보고서를 만듭니다.
안내 실습 8개와 도전 과제 2개로 구성됩니다. 개념을 설명한 뒤 적용하며 도전 과제는 배운 기술을 새 입력에 사용합니다. 작은 데이터셋으로 답을 직접 계산하여 쿼리를 확인할 수 있습니다.
학습 내용
과정을 마치면 다음을 할 수 있습니다.
- 테이블 열을 확인하고 Beeline으로 저장한 SQL 실행하기;
- CSV를 외부 테이블에 연결하고 메타데이터와 실제 기록 구분하기;
- 행 필터링, NULL 처리와 십진수 매출 집계하기;
- 고객 데이터를 조인하고 키가 의도한 행을 보존하는지 확인하기;
- 날짜 파티션을 등록하고 쿼리가 선택한 파티션 확인하기;
- 중복 누적 없이 ORC 결과 테이블을 재생성하고 해석, 위치와 파티션 문제 진단하기.
추천 대상
파일 데이터를 조회하고 반복 가능한 배치 보고서를 만들려는 데이터 분석 및 데이터 엔지니어링 초보자에게 적합합니다.
선수 지식: 기본 터미널 사용법과 표를 읽는 능력이 필요합니다. SQL, Hadoop, Java, Python 경험은 필요하지 않습니다.
학습 환경: LabEx가 Hive, HDFS와 필요한 서비스를 준비한 브라우저 Linux 터미널을 제공합니다. 활동마다 독립 데이터가 있으며 운영 클러스터 관리는 다루지 않습니다.
자주 묻는 질문
SQL을 배우거나 Hadoop 과정을 먼저 마쳐야 하나요?
아니요. 기본 터미널 사용법과 표를 읽는 능력이면 충분하며 필요한 SQL은 과정에서 소개합니다. Hadoop을 먼저 배우면 HDFS를 이해하는 데 도움이 되지만 각 Hive 활동은 환경과 데이터를 독립적으로 준비합니다.
Hive는 앞서 소개한 Hadoop 작업과 어떻게 다른가요?
Hadoop 실습은 파일과 배치 작업에 초점을 둡니다. 여기서는 Hive로 저장된 파일을 테이블에 연결하여 SQL로 조회하고 매출 보고서를 만듭니다. 테이블 메타데이터, 파일 위치, 파티션 사이의 관계도 배웁니다.
Hive를 설치하거나 기업 데이터베이스에 연결해야 하나요?
아니요. LabEx가 브라우저 환경에 Hive, 필요한 서비스와 연습 데이터를 제공합니다. 준비된 소매 데이터 파일과 테이블을 사용하므로 기업 데이터나 운영 클러스터가 필요하지 않습니다.
