Introduction
Dans une galaxie lointaine, la Station spatiale d'Andromède sert de centre d'exploration et de recherche intergalactique. En tant que pilote d'avion spatial expérimenté, votre mission est de naviguer dans l'immensité de l'espace, en collectant et en analysant les données de divers corps célestes. Cependant, votre parcours n'est pas sans défis. Le système informatique embarqué du vaisseau, alimenté par Hadoop, vous oblige à maîtriser l'art de gérer et de surveiller efficacement ses ressources en utilisant le journal des commandes Yarn.
Votre objectif est d'assurer des opérations fluides pendant vos expéditions en acquérant une compréhension approfondie du journal des commandes Yarn, un outil puissant au sein de l'écosystème Hadoop. En maîtrisant cet outil, vous serez en mesure de surveiller l'utilisation des ressources, de suivre l'avancement des tâches et de résoudre tout problème qui peut survenir, assurant finalement le succès de vos missions.
Se familiariser avec les journaux des commandes Yarn
Dans cette étape, vous allez découvrir les concepts fondamentaux du journal des commandes Yarn et son rôle dans la gestion des ressources au sein de l'écosystème Hadoop.
Tout d'abord, changez d'utilisateur en hadoop puis accédez au répertoire racine de l'utilisateur hadoop:
su - hadoop
Ensuite, affichez la liste des commandes Yarn disponibles.
yarn --help
La commande yarn --help affiche une liste des sous-commandes disponibles et de leur description. Parmi ces sous-commandes, vous trouverez plusieurs liées aux journaux, telles que yarn logs, yarn top et yarn node.
Voici un exemple de la sortie que vous pourriez voir :
Usage: yarn [--help] [COMMAND]
where COMMAND is one of:
node Affiche des informations sur un nœud spécifique
logs Récupère et affiche les journaux pour un conteneur spécifique
top Affiche des informations sur le cluster
...
Pour comprendre le but et l'utilisation de chaque sous-commande, vous pouvez utiliser le drapeau -help avec le nom de la sous-commande. Par exemple :
yarn logs -help
Cela vous fournira des informations détaillées sur la sous-commande yarn logs, y compris sa syntaxe, ses options et des exemples.
Voir les journaux des conteneurs
Dans cette étape, vous allez apprendre à récupérer et à visualiser les journaux d'un conteneur spécifique en utilisant la commande yarn logs.
Tout d'abord, soumettez un exemple de tâche pour générer quelques journaux :
Accédez au répertoire d'exemples de Hadoop.
cd /home/hadoop/hadoop/share/hadoop/mapreduce
Exécutez l'exemple WordCount.
yarn jar hadoop-mapreduce-examples-3.3.6.jar wordcount /home/hadoop/input /home/hadoop/output
Une fois que la tâche est en cours d'exécution ou terminée, vous pouvez récupérer les journaux en utilisant la commande yarn logs :
Obtenez l'ID d'application à partir de la sortie de la tâche.
appId="application_1234567890123_0001"
Visualisez les journaux pour l'application spécifiée.
yarn logs -applicationId $appId
Remplacez application_1234567890123_0001 par l'ID d'application réel de votre sortie de tâche.
La commande yarn logs affichera les journaux combinés de tous les conteneurs associés à l'application spécifiée. Vous pouvez également visualiser les journaux d'un conteneur spécifique en utilisant l'option -containerId :
containerId="container_1234567890123_0001_01_000001"
yarn logs -applicationId $appId -containerId $containerId
Remplacez container_1234567890123_0001_01_000001 par l'ID de conteneur réel que vous voulez examiner.
Surveiller les ressources du cluster
La commande yarn top fournit une vue en temps réel de l'utilisation des ressources du cluster, y compris des informations sur les applications en cours d'exécution, les gestionnaires de nœuds et l'allocation de ressources.
yarn top
La sortie affichera un résumé de l'utilisation des ressources du cluster, y compris les ressources disponibles en totalité, les ressources allouées et les ressources en attente. En outre, elle listera les applications en cours d'exécution, leur progression et les ressources qu'elles consomment.
Vérifier les informations sur les nœuds
La commande yarn node vous permet d'inspecter des informations détaillées sur un gestionnaire de nœud spécifique ou sur un gestionnaire de ressources dans le cluster Hadoop.
Liste des informations sur tous les nœuds du cluster.
yarn node -list
Remplacez iZj6c7ur7j3az0k9shzn2kZ:38115 par l'ID du gestionnaire de nœud.
nodeId="iZj6c7ur7j3az0k9shzn2kZ:38115"
Pour afficher les informations sur un gestionnaire de nœud :
yarn node -status $nodeId
La sortie affichera des informations telles que l'adresse du gestionnaire de nœud, l'état de santé du nœud, les ressources disponibles et une liste des conteneurs en cours d'exécution sur le nœud.
Résumé
Dans ce laboratoire, vous avez appris à naviguer dans l'immensité de la gestion des ressources de Hadoop grâce au journal des commandes Yarn. En maîtrisant ces commandes, vous avez acquis la capacité de surveiller l'utilisation des ressources, de suivre l'avancement des tâches et de résoudre les problèmes au sein de l'écosystème Hadoop. Cette connaissance sera précieuse lorsque vous entreprendrez vos missions intergalactiques, assurant des opérations efficaces et une collecte de données réussie auprès des corps célestes. Le chemin vers la formation d'un pilote spatial compétent a fait un pas important en avant, et vous êtes désormais mieux équipé pour affronter les défis qui attendent dans les profondeurs de l'espace.
