Centre de commandement de la défense des ressources

Introduction

Dans une galaxie lointaine, l'Empire Zylothien a lancé une campagne agressive pour conquérir et assimiler toutes les planètes habitées. En tant que commandant de la flotte de défense intergalactique, votre mission est de coordonner le déploiement des ressources et de gérer les nœuds de défense dans de multiples systèmes stellaires. Cependant, un adversaire rusé, le Surintendant Zylothien, a développé une technique sophistiquée pour perturber les opérations de votre centre de commandement, rendant vos efforts défensifs inefficaces.

Le Surintendant Zylothien a lancé une attaque inlassable de code malveillant, ciblant les nœuds Hadoop YARN (Yet Another Resource Negotiator) responsables de la gestion des ressources et de la planification des tâches dans votre centre de commandement. Si cette attaque n'est pas stoppée, elle pourrait paralyser votre capacité à allouer efficacement les ressources, rendant votre flotte de défense vulnérable et permettant à l'Empire Zylothien de gagner un avantage stratégique.

Votre objectif est de renforcer les nœuds Hadoop YARN et de regagner le contrôle de l'allocation des ressources, en vous assurant que votre flotte de défense reste opérationnelle et peut contrer efficacement la menace Zylothienne. En maîtrisant les commandes du nœud Hadoop YARN, vous serez en mesure de surveiller, de gérer et d'optimiser la distribution des ressources dans votre flotte de défense, déjouant les tentatives du Surintendant Zylothien de perturber vos opérations.

Skills Graph

Accès au ResourceManager Hadoop YARN

Dans cette étape, nous allons établir une connexion sécurisée au ResourceManager Hadoop YARN, qui est l'autorité centrale pour la gestion des ressources du cluster et la planification des applications.

1. Lancez le terminal et basculez sur l'utilisateur hadoop en exécutant la commande suivante :

su - hadoop

2. Accédez au répertoire d'installation de Hadoop en exécutant :

cd /home/hadoop/hadoop

Remplacez /home/hadoop/hadoop par le chemin réel de votre installation de Hadoop.

3. Démarrez les services Hadoop YARN ResourceManager et NodeManager en exécutant les commandes suivantes :

./sbin/start-yarn.sh

Cette commande démarrera les démon YARN ResourceManager et NodeManager.

4. Vérifiez que les services YARN ResourceManager et NodeManager sont en cours d'exécution en exécutant la commande suivante :

yarn node --list

Cette commande affichera une liste des NodeManager actifs dans le cluster. Vous devriez voir une sortie similaire à la suivante :

2024-03-24 12:15:41,203 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /0.0.0.0:8032
Total Nodes:1
         Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
iZj6c3h5jra6dj4yhykndeZ:44955	        RUNNING	iZj6c3h5jra6dj4yhykndeZ:8042	                           0

Surveillance de l'état des nœuds YARN

Avec les services Hadoop YARN ResourceManager et NodeManager en cours d'exécution, vous pouvez désormais surveiller l'état des nœuds YARN pour vous assurer qu'ils fonctionnent correctement et pour identifier tout problème potentiel ou vulnérabilité.

1. Exécutez la commande suivante pour récupérer des informations détaillées sur les nœuds YARN :

yarn node -list -showDetails

Cette commande affichera l'état de tous les nœuds YARN dans le cluster.

Total Nodes:1
         Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
iZj6c3h5jra6dj4yhykndeZ:44955	        RUNNING	iZj6c3h5jra6dj4yhykndeZ:8042	                           0
Informations détaillées sur le nœud :
	Ressources configurées : <mémoire:8192, cœurs virtuels:8>
	Ressources allouées : <mémoire:0, cœurs virtuels:0>
	Utilisation des ressources par le nœud : PMem:2888 MB, VMem:2888 MB, VCores:0.07997334
	Utilisation des ressources par les conteneurs : PMem:0 MB, VMem:0 MB, VCores:0.0
	Étiquettes de nœud :

2. Pour afficher des informations plus détaillées sur un nœud YARN spécifique, exécutez la commande suivante :

yarn node -status <node-id>

Remplacez <node-id> par l'ID du nœud que vous voulez examiner, tel que node.example.com:8041.

3. Analysez la sortie pour identifier tout nœud dans un état non sain ou présentant des problèmes. Recherchez des indicateurs tels que des nœuds dans un état non exécutant, des nœuds avec un grand nombre de conteneurs ayant échoué ou des nœuds avec une forte utilisation des ressources.

Voici un exemple de sortie pour un nœud YARN sain :

Rapport sur le nœud :
	Node-Id : iZj6c3h5jra6dj4yhykndeZ:44955
	Rack : /default-rack
	Node-State : RUNNING
	Node-Http-Address : iZj6c3h5jra6dj4yhykndeZ:8042
	Dernier rapport de santé : dimanche 24/mars/24 12:18:18:816CST
	Rapport de santé :
	Conteneurs : 0
	Mémoire utilisée : 0MB
	Mémoire-capacité : 8192MB
	CPU utilisé : 0 cœurs virtuels
	CPU-capacité : 8 cœurs virtuels
	Étiquettes de nœud :
	Attributs du nœud :
	Utilisation des ressources par le nœud : PMem:2898 MB, VMem:2898 MB, VCores:0.22659113
	Utilisation des ressources par les conteneurs : PMem:0 MB, VMem:0 MB, VCores:0.0

Gestion des ressources des nœuds YARN

En tant que commandant de la flotte de défense intergalactique, vous devez vous assurer que les ressources sont allouées efficacement sur les nœuds YARN pour soutenir vos opérations défensives. Dans cette étape, vous allez apprendre à gérer les ressources disponibles pour les nœuds YARN.

1. Pour afficher l'allocation de ressources actuelle pour un nœud YARN, exécutez la commande suivante :

yarn node -list -showDetails

La sortie affichera les ressources disponibles sur le nœud, y compris le CPU (cœurs virtuels) et la mémoire.

Ressources configurées : <mémoire:8192, vCores:8>

2. Si vous avez besoin d'ajuster l'allocation de ressources pour un nœud YARN, vous pouvez modifier le fichier de configuration yarn-site.xml situé dans le répertoire de configuration de Hadoop (/home/hadoop/hadoop/etc/hadoop/).
3. Ouvrez le fichier yarn-site.xml à l'aide d'un éditeur de texte :

vim ~/hadoop/etc/hadoop/yarn-site.xml

4. Localisez la section <configuration> et ajoutez ou modifiez les propriétés suivantes :

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>8</value>
</property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>16384</value>
</property>

Ajustez les éléments <value> pour définir les ressources CPU et mémoire souhaitées pour les nœuds YARN, enregistrez les modifications dans le fichier yarn-site.xml et quittez l'éditeur de texte.

5. Redémarrez les services YARN ResourceManager et NodeManager pour que les modifications prennent effet :

./sbin/stop-yarn.sh
./sbin/start-yarn.sh

6. Vérifiez l'allocation de ressources mise à jour en exécutant à nouveau la commande yarn node -list -showDetails.

Ressources configurées : <mémoire:16384, vCores:8>

Sommaire

Dans ce laboratoire, vous avez assumé le rôle de commandant d'une flotte de défense intergalactique, chargé de renforcer les nœuds Hadoop YARN contre les attaques incessantes du Surintendant Zylothien. En maîtrisant le nœud des commandes Hadoop YARN, vous avez acquis des compétences précieuses pour accéder et surveiller les services YARN ResourceManager et NodeManager, gérer les ressources des nœuds et lancer des applications sur le cluster YARN.

Au cours du laboratoire, vous avez appris à établir des connexions sécurisées au ResourceManager Hadoop YARN, surveiller l'état des nœuds YARN, ajuster l'allocation des ressources en fonction des exigences opérationnelles. L'expérience pratique et les exemples concrets ont fourni une compréhension complète du nœud des commandes Hadoop YARN, vous équipant des connaissances nécessaires pour gérer et optimiser efficacement la distribution des ressources dans votre flotte de défense.

Ce laboratoire n'a pas seulement renforcé vos compétences techniques, mais vous a également confronté à des réflexions stratégiques et à des résolutions de problèmes dans un scénario dynamique et captivant. En terminant avec succès le laboratoire, vous avez démontré votre capacité à surmonter des défis complexes et à contribuer à la défense de la galaxie contre la menace Zylothienne.