초보자를 위한 Apache Kafka는 소매업체의 주문 이력으로 이벤트 전달을 소개합니다. 실제 Kafka 기록을 발행하고 읽으며 키, 파티션과 소비 진행 상태를 확인한 뒤 이벤트를 파일에 저장하는 Python 클라이언트를 만듭니다.
안내 실습 8개와 도전 과제 2개로 구성됩니다. 처음 여섯 활동은 터미널 도구를, 마지막 네 활동은 Python을 사용합니다. 정상 동작과 통제된 실패를 예제로 이해한 뒤 도전 과제에서 익숙한 작업을 새 입력에 적용합니다.
학습 내용
과정을 마치면 다음을 할 수 있습니다.
- 토픽 생성, 메타데이터 확인과 보존 정책 설정하기;
- 키가 있는 기록을 발행하고 파티션 내부 순서와 오프셋 확인하기;
- 커밋된 다음 위치를 추적하고 읽기 재개 및 보존 이벤트 재생하기;
- 소비자 그룹 할당과 멤버 이탈 시 변화 확인하기;
- Python 프로듀서에서 JSON을 직렬화하고 전달 콜백과 대기 작업 검사하기;
- 이벤트를 검증하고 파일 버퍼를 비운 후 명시적으로 커밋하는 제한된 소비자를 작성하여 잘못된 기록과 재전달 관찰하기.
추천 대상
이벤트 기반 데이터 파이프라인을 시작하며 작고 관찰 가능한 예제로 Kafka 기록과 클라이언트 동작을 이해하려는 학습자에게 적합합니다.
선수 지식: 처음 여섯 활동에는 기본 터미널 사용법이 필요합니다. 마지막 네 활동에는 Python 함수, 반복문, 딕셔너리, JSON과 스크립트 실행도 필요합니다. Kafka, Java, Hadoop, Hive, Spark 경험은 필요하지 않습니다.
학습 환경: LabEx가 브라우저 Linux 터미널, Kafka 브로커 한 개와 설치된 Python 의존성을 제공합니다. 클라이언트 동작을 다루며 운영 클러스터 배포나 전체 과정의 정확히 한 번 보장은 다루지 않습니다.
자주 묻는 질문
Python이나 Hadoop, Hive, Spark 경험이 필요한가요?
처음 여섯 활동은 기본 터미널 사용법만 알면 됩니다. 마지막 네 활동에는 Python 함수, 반복문, 딕셔너리, JSON과 스크립트 실행의 기초가 필요합니다. 다른 빅데이터 과정은 필수 선수 과정이 아닙니다.
Kafka는 파일 기반 배치 처리와 어떤 관계인가요?
Kafka는 생산자가 발행하고 소비자가 읽는 이벤트 레코드를 저장합니다. 이 과정은 주문 이벤트를 토픽, 파티션, 소비자의 읽기 진행 상황을 통해 추적하고 파일에 저장합니다. Spark 스트림 처리 앱을 만들거나 전체 과정에서 정확히 한 번 전달을 보장하지는 않습니다.
Kafka를 설치하거나 관리형 클라우드 서비스를 사용해야 하나요?
아니요. 활동마다 LabEx에서 준비된 단일 브로커 Kafka 환경과 필요한 클라이언트를 제공합니다. 외부 Kafka 서비스를 마련하지 않고 브라우저에서 연습할 수 있습니다.
