소개
머나먼 은하계에서 Zylothian 제국은 모든 거주 행성을 정복하고 병합하기 위한 공격적인 작전을 시작했습니다. 은하계 방어 함대의 사령관으로서, 당신의 임무는 여러 별 시스템에 걸쳐 자원 배치를 조정하고 방어 노드를 관리하는 것입니다. 그러나 교활한 적, Zylothian Overlord 는 당신의 지휘 센터 운영을 방해하여 방어 노력을 무력화하는 정교한 기술을 개발했습니다.
Zylothian Overlord 는 당신의 지휘 센터 내에서 자원 관리 및 작업 스케줄링을 담당하는 Hadoop YARN (Yet Another Resource Negotiator) 노드를 표적으로 삼아 악성 코드의 맹렬한 공격을 시작했습니다. 이 공격을 막지 못하면 자원을 효율적으로 할당하는 능력이 마비되어 방어 함대가 취약해지고 Zylothian 제국이 전략적 우위를 점하게 될 수 있습니다.
당신의 목표는 Hadoop YARN 노드를 강화하고 자원 할당에 대한 통제권을 되찾아 방어 함대가 정상적으로 작동하고 Zylothian 의 위협에 효과적으로 대응할 수 있도록 하는 것입니다. Hadoop YARN Commands 노드를 마스터함으로써 방어 함대 전반의 자원 분배를 모니터링, 관리 및 최적화하여 Zylothian Overlord 가 당신의 작전을 방해하려는 시도를 능가할 수 있습니다.
Hadoop YARN ResourceManager 접속
이 단계에서는 클러스터 자원을 관리하고 애플리케이션을 스케줄링하는 중앙 권한 역할을 하는 Hadoop YARN ResourceManager 에 안전하게 연결을 설정합니다.
- 터미널을 실행하고 다음 명령을 실행하여
hadoop사용자로 전환합니다.
su - hadoop
- 다음을 실행하여 Hadoop 설치 디렉토리로 이동합니다.
cd /home/hadoop/hadoop
/home/hadoop/hadoop을 실제 Hadoop 설치 경로로 바꿉니다.
- 다음 명령을 실행하여 Hadoop YARN ResourceManager 및 NodeManager 서비스를 시작합니다.
./sbin/start-yarn.sh
이 명령은 YARN ResourceManager 및 NodeManager 데몬을 시작합니다.
- 다음 명령을 실행하여 YARN ResourceManager 및 NodeManager 서비스가 실행 중인지 확인합니다.
yarn node --list
이 명령은 클러스터에서 활성 NodeManager 목록을 표시합니다. 다음과 유사한 출력을 볼 수 있습니다.
2024-03-24 12:15:41,203 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /0.0.0.0:8032
Total Nodes:1
Node-Id Node-State Node-Http-Address Number-of-Running-Containers
iZj6c3h5jra6dj4yhykndeZ:44955 RUNNING iZj6c3h5jra6dj4yhykndeZ:8042 0
YARN 노드 상태 모니터링
Hadoop YARN ResourceManager 및 NodeManager 서비스가 실행 중이므로 이제 YARN 노드의 상태를 모니터링하여 제대로 작동하는지 확인하고 잠재적인 문제 또는 취약점을 식별할 수 있습니다.
- YARN 노드에 대한 자세한 정보를 검색하려면 다음 명령을 실행합니다.
yarn node -list -showDetails
이 명령은 클러스터의 모든 YARN 노드의 상태를 표시합니다.
Total Nodes:1
Node-Id Node-State Node-Http-Address Number-of-Running-Containers
iZj6c3h5jra6dj4yhykndeZ:44955 RUNNING iZj6c3h5jra6dj4yhykndeZ:8042 0
Detailed Node Information :
Configured Resources : <memory:8192, vCores:8>
Allocated Resources : <memory:0, vCores:0>
Resource Utilization by Node : PMem:2888 MB, VMem:2888 MB, VCores:0.07997334
Resource Utilization by Containers : PMem:0 MB, VMem:0 MB, VCores:0.0
Node-Labels :
- 특정 YARN 노드에 대한 자세한 정보를 보려면 다음 명령을 실행합니다.
yarn node -status <node-id>
<node-id>를 검사하려는 노드의 ID(예: node.example.com:8041) 로 바꿉니다.
- 출력을 분석하여 상태가 좋지 않거나 문제가 있는 노드를 식별합니다. RUNNING 상태가 아닌 노드, 실패한 컨테이너 수가 많은 노드 또는 리소스 사용률이 높은 노드와 같은 지표를 찾습니다.
정상적인 YARN 노드의 출력 예는 다음과 같습니다.
Node Report :
Node-Id : iZj6c3h5j6c3h5jra6dj4yhykndeZ:44955
Rack : /default-rack
Node-State : RUNNING
Node-Http-Address : iZj6c3h5jra6dj4yhykndeZ:8042
Last-Health-Update : Sun 24/Mar/24 12:18:18:816CST
Health-Report :
Containers : 0
Memory-Used : 0MB
Memory-Capacity : 8192MB
CPU-Used : 0 vcores
CPU-Capacity : 8 vcores
Node-Labels :
Node Attributes :
Resource Utilization by Node : PMem:2898 MB, VMem:2898 MB, VCores:0.22659113
Resource Utilization by Containers : PMem:0 MB, VMem:0 MB, VCores:0.0
YARN 노드 리소스 관리
은하계 방어 함대의 사령관으로서 방어 작전을 지원하기 위해 YARN 노드 전체에서 리소스가 효율적으로 할당되도록 해야 합니다. 이 단계에서는 YARN 노드에서 사용할 수 있는 리소스를 관리하는 방법을 배웁니다.
- YARN 노드의 현재 리소스 할당을 보려면 다음 명령을 실행합니다.
yarn node -list -showDetails
출력에는 CPU(가상 코어) 및 메모리를 포함하여 노드에서 사용 가능한 리소스가 표시됩니다.
Configured Resources : <memory:8192, vCores:8>
- YARN 노드의 리소스 할당을 조정해야 하는 경우 Hadoop 구성 디렉토리 (
/home/hadoop/hadoop/etc/hadoop/) 에 있는yarn-site.xml구성 파일을 수정할 수 있습니다. - 텍스트 편집기를 사용하여
yarn-site.xml파일을 엽니다.
vim ~/hadoop/etc/hadoop/yarn-site.xml
<configuration>섹션을 찾아 다음 속성을 추가하거나 수정합니다.
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>8</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>16384</value>
</property>
<value> 요소를 조정하여 YARN 노드에 대한 원하는 CPU 및 메모리 리소스를 설정하고 변경 사항을 yarn-site.xml 파일에 저장한 후 텍스트 편집기를 종료합니다.
- 변경 사항을 적용하려면 YARN ResourceManager 및 NodeManager 서비스를 다시 시작합니다.
./sbin/stop-yarn.sh
./sbin/start-yarn.sh
yarn node -list -showDetails명령을 다시 실행하여 업데이트된 리소스 할당을 확인합니다.
Configured Resources : <memory:16384, vCores:8>
요약
이 랩에서는 Zylothian Overlord 의 끊임없는 공격으로부터 Hadoop YARN 노드를 강화하는 임무를 맡은 은하계 방어 함대 사령관 역할을 맡았습니다. Hadoop YARN Commands 노드를 마스터함으로써 YARN ResourceManager 및 NodeManager 서비스에 액세스하고 모니터링하고, 노드 리소스를 관리하고, YARN 클러스터에서 애플리케이션을 시작하는 데 필요한 귀중한 기술을 습득했습니다.
랩 전체에서 Hadoop YARN ResourceManager 에 대한 보안 연결을 설정하고, YARN 노드의 상태를 모니터링하고, 운영 요구 사항에 따라 리소스 할당을 조정하는 방법을 배웠습니다. 실습 경험과 실제 예제를 통해 Hadoop YARN Commands 노드에 대한 포괄적인 이해를 얻었으며, 방어 함대 전체에서 리소스 배포를 효과적으로 관리하고 최적화하는 데 필요한 지식을 갖추게 되었습니다.
이 랩은 기술적 기술을 강화했을 뿐만 아니라 역동적이고 매력적인 시나리오에서 전략적으로 사고하고 문제 해결을 하도록 도전했습니다. 랩을 성공적으로 완료함으로써 복잡한 과제를 해결하고 Zylothian 의 위협으로부터 은하계를 방어하는 데 기여할 수 있는 능력을 입증했습니다.
