초보자를 위한 Apache Spark는 PySpark 배치 데이터 처리를 가르칩니다. 작은 소매 데이터로 CSV와 JSON을 자료형이 있는 DataFrame으로 바꾸고 기록을 정제하며 판매 보고서를 계산하고 다음 실행에서 읽을 결과를 저장합니다.
안내 실습 11개와 도전 과제 2개로 구성됩니다. 완성된 예제에서 작은 변경을 거쳐 새 입력의 독립 과제로 진행합니다. 실제 실행 증거를 확인하고 대화형 세션에 의존하지 않는 재사용 앱을 제출합니다.
학습 내용
과정을 마치면 다음을 할 수 있습니다.
- 명시적 스키마로 DataFrame을 만들고 CSV와 중첩 JSON 읽기;
- 열 필터링과 변환, 안전한 값 해석과 완전히 같은 중복 행 제거하기;
- 십진수 매출을 집계하고 고객 및 상품 참조 데이터 조인하기;
- Spark SQL과 세션 내부 뷰로 익숙한 작업 표현하기;
- 파티션 Parquet 데이터셋을 쓰고 논리적 기록 검증하기;
- 실행 계획과 오류를 확인하고 인수가 있는 배치 앱을 제출하여 재실행하기.
추천 대상
데이터 엔지니어링을 시작하거나 첫 Spark 배치 작업을 준비하는 Python 학습자에게 적합합니다.
선수 지식: Python 변수, 컬렉션, 함수 호출과 스크립트 실행 및 기본 터미널 사용법이 필요합니다. Spark, pandas, Hadoop, Hive, Java 경험은 필요하지 않습니다.
학습 환경: LabEx가 준비된 브라우저 Linux 터미널을 제공합니다. 실제 PySpark를 local[2], 즉 컴퓨터 한 대의 실행 스레드 두 개로 사용하며 분산 클러스터 배포는 다루지 않습니다.
자주 묻는 질문
Python은 얼마나 알아야 하며 Hadoop이나 Hive를 먼저 마쳐야 하나요?
Python 변수, 컬렉션, 함수 호출과 스크립트 실행을 이해해야 합니다. Hadoop과 Hive는 배경 이해에 도움이 되지만 필수 선수 과정은 아닙니다. DataFrame과 필요한 Spark SQL은 과정에서 소개합니다.
배치 처리와 함께 스트림 처리도 배우나요?
이 과정은 CSV와 JSON 파일의 배치 처리를 다루고 재사용 가능한 매출 파이프라인을 만드는 것으로 마칩니다. Spark Streaming과 RDD 프로그래밍은 범위에 포함되지 않습니다.
Spark를 설치하거나 여러 컴퓨터를 대여해야 하나요?
아니요. LabEx가 준비된 브라우저 환경에 PySpark와 데이터셋을 제공합니다. 컴퓨터 한 대의 실행 스레드 두 개로 실제 API와 실행 동작을 배우므로 분산 클러스터를 배포할 필요가 없습니다.
