Opérations spatiales avec les journaux YARN

Introduction

Dans une galaxie lointaine, la Station spatiale d'Andromède sert de centre d'exploration et de recherche intergalactique. En tant que pilote d'avion spatial expérimenté, votre mission est de naviguer dans l'immensité de l'espace, en collectant et en analysant les données de divers corps célestes. Cependant, votre parcours n'est pas sans défis. Le système informatique embarqué du vaisseau, alimenté par Hadoop, vous oblige à maîtriser l'art de gérer et de surveiller efficacement ses ressources en utilisant le journal des commandes Yarn.

Votre objectif est d'assurer des opérations fluides pendant vos expéditions en acquérant une compréhension approfondie du journal des commandes Yarn, un outil puissant au sein de l'écosystème Hadoop. En maîtrisant cet outil, vous serez en mesure de surveiller l'utilisation des ressources, de suivre l'avancement des tâches et de résoudre tout problème qui peut survenir, assurant finalement le succès de vos missions.

Skills Graph

Familiarisez-vous avec le journal des commandes Yarn

Dans cette étape, vous allez découvrir les concepts fondamentaux du journal des commandes Yarn et son rôle dans la gestion des ressources au sein de l'écosystème Hadoop.

Tout d'abord, changez d'utilisateur en hadoop puis accédez au répertoire racine de l'utilisateur hadoop:

su - hadoop

Ensuite, affichez la liste des commandes Yarn disponibles.

yarn --help

La commande yarn --help affiche une liste des sous-commandes disponibles et de leur description. Parmi ces sous-commandes, vous trouverez plusieurs liées aux journaux, telles que yarn logs, yarn top et yarn node.

Voici un exemple de la sortie que vous pourriez voir :

Usage: yarn [--help] [COMMAND]
where COMMAND is one of:
  node           Affiche des informations sur un nœud spécifique
  logs           Récupère et affiche les journaux pour un conteneur spécifique
  top            Affiche des informations sur le cluster
 ...

Pour comprendre le but et l'utilisation de chaque sous-commande, vous pouvez utiliser le drapeau -help avec le nom de la sous-commande. Par exemple :

yarn logs -help

Cela vous fournira des informations détaillées sur la sous-commande yarn logs, y compris sa syntaxe, ses options et des exemples.

Visualisation des journaux des conteneurs

Dans cette étape, vous allez apprendre à récupérer et à visualiser les journaux d'un conteneur spécifique en utilisant la commande yarn logs.

Tout d'abord, soumettez un exemple de tâche pour générer quelques journaux :

Accédez au répertoire d'exemples de Hadoop.

cd /home/hadoop/hadoop/share/hadoop/mapreduce

Exécutez l'exemple WordCount.

yarn jar hadoop-mapreduce-examples-3.3.6.jar wordcount /home/hadoop/input /home/hadoop/output

Une fois que la tâche est en cours d'exécution ou terminée, vous pouvez récupérer les journaux en utilisant la commande yarn logs :

Obtenez l'ID d'application à partir de la sortie de la tâche.

appId="application_1234567890123_0001"

Visualisez les journaux pour l'application spécifiée.

yarn logs -applicationId $appId

Remplacez application_1234567890123_0001 par l'ID d'application réel de votre sortie de tâche.

La commande yarn logs affichera les journaux combinés de tous les conteneurs associés à l'application spécifiée. Vous pouvez également visualiser les journaux d'un conteneur spécifique en utilisant l'option -containerId :

containerId="container_1234567890123_0001_01_000001"

yarn logs -applicationId $appId -containerId $containerId

Remplacez container_1234567890123_0001_01_000001 par l'ID de conteneur réel que vous voulez examiner.

Surveillance des ressources du cluster

La commande yarn top fournit une vue en temps réel de l'utilisation des ressources du cluster, y compris des informations sur les applications en cours d'exécution, les gestionnaires de nœuds et l'allocation de ressources.

yarn top

La sortie affichera un résumé de l'utilisation des ressources du cluster, y compris les ressources disponibles en totalité, les ressources allouées et les ressources en attente. En outre, elle listera les applications en cours d'exécution, leur progression et les ressources qu'elles consomment.

Vérification des informations sur un nœud

La commande yarn node vous permet d'inspecter des informations détaillées sur un gestionnaire de nœud spécifique ou sur un gestionnaire de ressources dans le cluster Hadoop.

Liste des informations sur tous les nœuds du cluster.

yarn node -list

Remplacez iZj6c7ur7j3az0k9shzn2kZ:38115 par l'ID du gestionnaire de nœud.

nodeId="iZj6c7ur7j3az0k9shzn2kZ:38115"

Pour afficher les informations sur un gestionnaire de nœud :

yarn node -status $nodeId

La sortie affichera des informations telles que l'adresse du gestionnaire de nœud, l'état de santé du nœud, les ressources disponibles et une liste des conteneurs en cours d'exécution sur le nœud.

Sommaire

Dans ce laboratoire, vous avez appris à naviguer dans l'immensité de la gestion des ressources de Hadoop grâce au journal des commandes Yarn. En maîtrisant ces commandes, vous avez acquis la capacité de surveiller l'utilisation des ressources, de suivre l'avancement des tâches et de résoudre les problèmes au sein de l'écosystème Hadoop. Cette connaissance sera précieuse lorsque vous entreprendrez vos missions intergalactiques, assurant des opérations efficaces et une collecte de données réussie auprès des corps célestes. Le chemin vers la formation d'un pilote spatial compétent a fait un pas important en avant, et vous êtes désormais mieux équipé pour affronter les défis qui attendent dans les profondeurs de l'espace.