Introduction
Dans le vaste et inhospitalier désert du Sahara, un explorateur réputé entreprend une expédition audacieuse pour découvrir les secrets d'une civilisation ancienne. Avec le soleil brûlant au-dessus de leur tête et le sable mobile sous leurs pieds, ils doivent naviguer à travers les dunes traîtresses et les conditions difficiles pour atteindre leur objectif : un site archéologique caché dont on dit qu'il contient des artefacts précieux.
Leur mission est non seulement de découvrir ces reliques anciennes, mais également d'étudier les technologies avancées utilisées par la société oubliée depuis longtemps. Heureusement, l'explorateur a emporté un outil puissant - le Hadoop YARN (Yet Another Resource Negotiator) - une technologie de gestion de grappe qui les aidera à traiter et à analyser les vastes quantités de données qu'ils rencontreront au cours de leur quête.
Explorez le Gestionnaire de ressources Hadoop YARN
Dans cette étape, nous allons explorer le Gestionnaire de ressources Hadoop YARN, qui est responsable de la gestion des ressources du cluster et de la planification des applications.
Tout d'abord, passons à l'utilisateur hadoop en exécutant la commande suivante dans le terminal :
su - hadoop
Ensuite, nous allons récupérer des informations sur le Gestionnaire de ressources YARN en exécutant la commande suivante :
yarn node --list
Cette commande affichera une liste des NodeManagers actifs dans le cluster Hadoop, ainsi que leurs statuts respectifs, leurs identifiants de nœud et autres informations pertinentes.
Voici un exemple de sortie :
2024-03-16 22:35:03,954 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /0.0.0.0:8032
Total Nodes:1
Node-Id Node-State Node-Http-Address Number-of-Running-Containers
iZj6cb368r3kuiwgkci85bZ:39587 RUNNING iZj6cb368r3kuiwgkci85bZ:8042 0
Soumettre une application YARN
Dans cette étape, nous allons apprendre à soumettre une application YARN au cluster. Nous utiliserons un cas simple qui calcule le pi.
yarn jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 3 3
La sortie contiendra le résultat du calcul.
Job Finished in 19.117 seconds
Estimated value of Pi is 3.55555555555555555556
Résumé
Dans ce laboratoire, nous avons exploré le Hadoop YARN (Yet Another Resource Negotiator) et appris à interagir avec le Gestionnaire de ressources pour gérer les ressources du cluster et planifier les applications. Nous avons commencé par lister les NodeManagers actifs dans le cluster, ce qui nous a donné des informations sur les ressources disponibles.
Ensuite, nous avons soumis une application YARN qui calcule la valeur de pi à 25 chiffres. L'application a été soumise et exécutée avec succès, démontrant la capacité de YARN à allouer efficacement les ressources et à exécuter des tâches distribuées.
Grâce à ce laboratoire, j'ai acquis des connaissances pratiques sur les commandes YARN et sur la manière d'utiliser le pouvoir de Hadoop pour les tâches de calcul distribué. La combinaison de concepts théoriques et d'exercices pratiques a consolidé ma compréhension de cette puissante technologie, me préparant pour des scénarios du monde réel où le traitement et l'analyse efficaces des données sont cruciales.
