소개
광활하고 가혹한 사하라 사막에서, 유명한 탐험가가 고대 문명의 비밀을 밝히기 위한 대담한 탐험을 시작합니다. 타오르는 태양이 머리 위를 비추고, 발 아래 모래가 끊임없이 움직이는 가운데, 그들은 위험한 모래 언덕과 혹독한 환경을 헤쳐나가 목표 지점, 즉 귀중한 유물을 포함하고 있다고 소문난 숨겨진 고고학 유적지에 도달해야 합니다.
그들의 임무는 고대 유물을 발굴하는 것뿐만 아니라, 오랫동안 잊혀진 사회가 사용했던 첨단 기술을 연구하는 것입니다. 다행히도, 탐험가는 강력한 도구인 Hadoop YARN (Yet Another Resource Negotiator) 을 가지고 왔습니다. 이는 그들이 탐험 과정에서 마주하게 될 방대한 양의 데이터를 처리하고 분석하는 데 도움이 되는 클러스터 관리 기술입니다.
Hadoop YARN Resource Manager 탐색
이 단계에서는 클러스터 리소스를 관리하고 애플리케이션을 스케줄링하는 역할을 하는 Hadoop YARN Resource Manager 를 탐색해 보겠습니다.
먼저, 터미널에서 다음 명령을 실행하여 hadoop 사용자로 전환합니다.
su - hadoop
다음으로, 다음 명령을 실행하여 YARN Resource Manager 에 대한 정보를 검색합니다.
yarn node --list
이 명령은 Hadoop 클러스터에서 활성 NodeManager 목록과 해당 상태, nodeID 및 기타 관련 정보를 표시합니다.
다음은 예시 출력입니다.
2024-03-16 22:35:03,954 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /0.0.0.0:8032
Total Nodes:1
Node-Id Node-State Node-Http-Address Number-of-Running-Containers
iZj6cb368r3kuiwgkci85bZ:39587 RUNNING iZj6cb368r3kuiwgkci85bZ:8042 0
YARN 애플리케이션 제출
이 단계에서는 YARN 애플리케이션을 클러스터에 제출하는 방법을 배우겠습니다. 파이를 계산하는 간단한 사례를 사용합니다.
yarn jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 3 3
출력에는 계산 결과가 포함됩니다.
Job Finished in 19.117 seconds
Estimated value of Pi is 3.55555555555555555556
요약
이 랩에서는 Hadoop YARN (Yet Another Resource Negotiator) 을 탐구하고, Resource Manager 와 상호 작용하여 클러스터 리소스를 관리하고 애플리케이션을 스케줄링하는 방법을 배웠습니다. 먼저 클러스터에서 활성 NodeManager 를 나열하여 사용 가능한 리소스에 대한 통찰력을 얻었습니다.
다음으로, 파이 값을 25 자리까지 계산하는 YARN 애플리케이션을 제출했습니다. 애플리케이션은 성공적으로 제출 및 실행되었으며, YARN 이 리소스를 효율적으로 할당하고 분산 작업을 실행하는 능력을 보여주었습니다.
이 랩을 통해 YARN 명령어에 대한 실질적인 지식을 얻었으며, 분산 컴퓨팅 작업에 Hadoop 의 강력한 기능을 활용하는 방법을 배웠습니다. 이론적 개념과 실습 연습의 조합은 이 강력한 기술에 대한 이해를 굳건히 해주었으며, 효율적인 데이터 처리 및 분석이 중요한 실제 시나리오에 대비할 수 있게 해주었습니다.
