Hive 데이터 파티션 업데이트는 기본 Hive 쿼리를 알고 있으며 아카이브 데이터를 신중하게 수정하고 싶은 학습자를 위한 실습 프로젝트입니다. 한 행사장이 특정 날짜에 대한 새로운 확정 방문 기록 전체를 승인했습니다. 해당 날짜의 데이터를 교체하고, 확정 방문이 없는 승인 날짜를 올바르게 처리하며, 다른 모든 날짜와 원본 소스 데이터를 보존합니다.
과정은 가이드 실습 하나와 독립 챌린지 하나로 구성됩니다. 가이드 실습에서는 실제 실습용 ORC 아카이브를 수정하기 전에 별도의 연습 테이블로 추가, 전체 테이블 교체, 정적 파티션 교체를 비교합니다. 챌린지에서는 다른 날짜와 후보 레코드를 다루며, 승인 범위 밖의 데이터도 제공됩니다.
학습 내용
과정을 마치면 다음을 수행할 수 있습니다.
- 수정 전에 외부 테이블 위치, 파티션 열, 저장 형식을 확인합니다.
- 날짜 데이터 전체 교체와 새 레코드 추가를 구분합니다.
- 정적 대상 파티션을 선택하고, 해당 소스에서 확정된 레코드를 별도로 필터링합니다.
- 확정된 대체 기록 전체가 비어 있는 승인 날짜를 파티션 등록을 유지한 채 비웁니다.
- 승인되지 않은 날짜의 아카이브 레코드와 원래 HDFS 파일, 제공된 소스 정의와 데이터를 보존합니다.
- SQL을 저장하고 실행하며, 같은 파일을 다시 실행한 뒤 조회 쿼리로 전체 아카이브를 검증합니다.
추천 대상
Hive 입문 지식이 있고, 엄격하게 승인 범위를 제한한 데이터 수정을 연습하고 싶은 학습자에게 적합합니다.
선수 지식: Terminal의 기본 디렉터리 이동, HDFS 경로, Hive 외부 테이블, WHERE를 사용하는 SELECT, 파티션 열, ORC가 필요합니다. 가이드 실습에서 정적 파티션 덮어쓰기와 SQL 저장에 사용하는 셸 구문을 설명합니다.
학습 환경: 각 단원에는 Hive, HDFS, 소스 레코드와 초기 아카이브가 준비된 독립 Linux 환경이 제공됩니다. 브라우저의 Terminal 탭에서 작업하며 로컬 설치는 필요하지 않습니다. 명령, 데이터와 실행 출력은 영어로 유지됩니다.
자주 묻는 질문
Hive나 Hadoop을 설치해야 하나요?
아니요. 각 단원의 서비스와 과정 데이터가 준비되어 있습니다. 아카이브를 읽고, 승인 범위를 판단하고, 수정을 적용하는 데 집중하면 됩니다.
수정은 개별 레코드를 하나씩 업데이트하는 것인가요?
이 과정에서 승인된 후보 데이터는 특정 날짜의 확정 방문 기록 전체를 나타냅니다. 이 전체 기록을 교체하면 오래된 레코드가 제거됩니다. 승인된 대체 기록이 비어 있으면 해당 날짜의 기존 레코드가 모두 제거됩니다.
챌린지는 가이드 실습에서 어떻게 확장되나요?
새 승인 목록과 후보 데이터를 스스로 확인하고, 같은 교체 방식을 적용하며, 나중에 추가된 승인되지 않은 날짜의 데이터를 보존합니다. 챌린지는 독립적으로 초기화되며 가이드 실습의 파일에 의존하지 않습니다.
