LabEx
무료 가입

빅 데이터 튜토리얼

빅 데이터 학습 경로는 대규모 데이터 처리를 마스터하기 위해 설계되었습니다. 우리의 튜토리얼은 초보자와 중급 학습자 모두에게 적합한 필수 개념과 도구를 다룹니다. 실습 랩과 실제 코드 예제를 통해 데이터 분석, 처리 및 시각화에 대한 실질적인 경험을 얻을 수 있습니다. 우리의 대화형 플레이그라운드를 통해 위험 부담 없이 빅 데이터 기술을 실험할 수 있습니다.

다른 스킬 트리

LinuxDevOps사이버 보안AWSDevOps EngineerCybersecurity EngineerDevSecOpsKali LinuxRed Hat Enterprise LinuxRHCSA 교육RHCE in Enterprise Linux 교육LFCS 교육ShellGitCloudflareDockerKubernetesCKA 교육CKAD 교육CKS 교육AnsibleRHCE in Ansible 교육JenkinsNmapWiresharkHydraCompTIA데이터베이스MySQLPostgreSQLRedisMongoDBSQLitePythonRustGolangJavaCC++웹 개발데이터 과학
첫 번째 PySpark DataFrame

첫 번째 PySpark DataFrame

완전한 Spark 스크립트를 실행하고 작은 주문 DataFrame과 스키마를 확인하며 기록 하나를 더했을 때 새 실행이 어떻게 달라지는지 예상합니다.
Big Data
Kafka 컨슈머 그룹으로 작업 나누기

Kafka 컨슈머 그룹으로 작업 나누기

실행 중인 컨슈머 두 개의 파티션 분담, 같은 이벤트를 읽는 독립 그룹, 멤버 하나가 나간 뒤의 할당 복구를 관찰합니다.
Big DataLinuxShell
YARN 배치 작업을 제출하고 확인하기

YARN 배치 작업을 제출하고 확인하기

익숙한 상품 WordCount를 HDFS 입력과 실제 YARN 실행으로 수행하고, 애플리케이션 상태와 로그를 확인하며 출력을 검증하고 안전하게 다시 실행합니다.
Big DataShellLinux
Spark 배치 애플리케이션 제출과 재실행하기

Spark 배치 애플리케이션 제출과 재실행하기

명시적 master 및 입력·출력 인수로 spark-submit을 사용하고 실제 종료 상태와 로그를 확인하며 입력 누락과 기존 출력 경로에서 안전하게 복구합니다.
Big DataShell
Kafka 컨슈머 오프셋 추적과 이벤트 재생

Kafka 컨슈머 오프셋 추적과 이벤트 재생

커밋된 다음 오프셋과 지연을 관찰하고 이름이 있는 컨슈머의 제한된 읽기를 재개하며, 비활성 그룹을 초기화해 보관된 레코드를 의도적으로 다시 읽습니다.
Big Data
Map, Shuffle, Reduce 이해하기

Map, Shuffle, Reduce 이해하기

상품별 개수를 예상하고 작은 학습 도구로 Map, Shuffle, Reduce를 살펴본 뒤, 준비된 Hadoop 예제 JAR로 같은 WordCount 알고리즘을 로컬 모드에서 실행합니다.
Big DataLinuxShell
Spark 실행과 일반 오류 이해하기

Spark 실행과 일반 오류 이해하기

익숙한 변환을 실제 실행 계획 및 이벤트 로그와 연결하고 계산 파티션과 디렉터리 파티션을 구분하며 일반적인 표현식 오류 두 가지를 수정합니다.
Big Data
Hadoop 환경 이해하기

Hadoop 환경 이해하기

Hadoop 구성 요소의 관계를 알아보고, 구성된 파일 시스템과 로컬 및 HDFS 경로를 비교하며, 실행 중인 HDFS 서비스와 저장 노드 정보를 확인합니다.
LinuxBig Data
파티션 Spark Parquet 데이터를 쓰고 확인하기

파티션 Spark Parquet 데이터를 쓰고 확인하기

준비된 주문을 날짜별 Parquet에 저장하고 자료형이 있는 기록을 복원해 조회하며 일회용 출력에서 덮어쓰기와 추가 쓰기를 비교합니다.
Big Data
첫 번째 Hadoop 실습

첫 번째 Hadoop 실습

빅데이터의 의미와 Hadoop의 역할을 알아본 뒤, 준비된 환경에서 소매 상품 텍스트 파일을 HDFS에 업로드하고 다시 읽어 내용을 확인합니다.
Big DataLinuxShell
첫 번째 Hive 쿼리

첫 번째 Hive 쿼리

데이터 작업 흐름에서 Apache Hive의 역할을 알아보고 준비된 상품 주문 테이블을 살펴본 뒤, 결제된 주문 기록을 선택하고 확인하는 첫 SQL 파일을 작성합니다.
Big DataShell
기본 HDFS 권한을 읽고 수정하기

기본 HDFS 권한을 읽고 수정하기

HDFS 소유자, 그룹과 권한 모드를 읽고 데이터셋을 그룹에 공유하며, 모든 사용자의 쓰기를 허용하지 않고 일반 계정으로 실제 접근을 테스트합니다.
Big Data
첫 Kafka 이벤트 전송과 읽기

첫 Kafka 이벤트 전송과 읽기

Kafka의 이벤트 전달 역할을 이해하고 단일 파티션 토픽을 만들며 별도 생산자·소비자 터미널을 관찰하고 보존된 주문 이벤트를 다시 읽습니다.
Big DataLinux
Spark 주문 데이터 선택, 필터링과 변환하기

Spark 주문 데이터 선택, 필터링과 변환하기

자료형이 있는 열 표현식으로 필드를 선택하고 행 조건을 결합하며 십진수 주문 금액을 계산하고 결제 완료와 대기 결과를 비교합니다.
Big Data
Hive 쿼리 결과를 ORC 테이블로 저장하기

Hive 쿼리 결과를 ORC 테이블로 저장하기

십진수 일일 판매 보고서를 ORC로 저장하고 다시 읽으며, 일회용 테이블에서 반복 가능한 덮어쓰기와 중복을 만드는 추가 쓰기를 비교합니다.
Big Data
키와 파티션으로 Kafka 이벤트 라우팅하기

키와 파티션으로 Kafka 이벤트 라우팅하기

키가 있는 주문 이벤트를 발행하고 실제 키, 파티션, 오프셋을 확인하며 전체 레코드의 전역 순서를 가정하지 않고 주문별 라우팅을 관찰합니다.
Big Data
명시적 스키마로 Spark CSV 읽기

명시적 스키마로 Spark CSV 읽기

문자열 전용 및 자료형 추론 CSV 읽기를 명시적인 일곱 열 스키마와 비교한 뒤 같은 자료형을 새 데이터에 적용합니다.
Big Data
JSON 이벤트를 Spark DataFrame으로 읽기

JSON 이벤트를 Spark DataFrame으로 읽기

명시적 자료형으로 정적 JSON Lines를 읽고 주문 이벤트를 선택하며 스트리밍으로 바꾸지 않고 간단한 중첩 고객 struct를 평탄화합니다.
Big Data
  • 이전
  • 1
  • 2
  • 다음