Raumfahrzeugoperationen mit YARN-Protokollen

Einführung

In einer fernen Galaxie dient die Andromeda-Raumstation als Drehkreuz für die intergalaktische Exploration und Forschung. Als geschickter Raumfahrzeugpilot ist deine Mission, durch das weite Weltall zu navigieren, Daten von verschiedenen Himmelskörpern zu sammeln und zu analysieren. Deine Reise ist jedoch nicht ohne Herausforderungen. Das Bordcomputer-System des Raumfahrzeugs, das von Hadoop angetrieben wird, erfordert von dir, die Kunst des effizienten Managements und der Überwachung seiner Ressourcen mit Hilfe von Yarn Commands log zu meistern.

Dein Ziel ist es, die reibungslose Durchführung deiner Expeditionen sicherzustellen, indem du eine umfassende Kenntnis von Yarn Commands log erlangst, einem leistungsstarken Tool innerhalb des Hadoop-Ekosystems. Indem du dieses Tool meisterst, wirst du in der Lage sein, die Ressourcennutzung zu überwachen, den Fortschritt von Jobs zu verfolgen und alle auftauchenden Probleme zu beheben, was letztendlich zum Erfolg deiner Missionen führt.

Skills Graph

Vertraut machen mit den Yarn Commands Log

In diesem Schritt lernst du die grundlegenden Konzepte von Yarn Commands log und seine Rolle bei der Verwaltung von Ressourcen innerhalb des Hadoop-Ekosystems kennen.

Ändere zunächst den Benutzer auf hadoop und wechsle dann in das Home-Verzeichnis des hadoop-Benutzers:

su - hadoop

Zeige dann die Liste der verfügbaren Yarn Commands an.

yarn --help

Der Befehl yarn --help zeigt eine Liste der verfügbaren Unterbefehle und ihrer Beschreibungen an. Unter diesen Unterbefehlen findest du mehrere, die mit Logs zusammenhängen, wie yarn logs, yarn top und yarn node.

Hier ist ein Beispiel für die Ausgabe, die du sehen könntest:

Usage: yarn [--help] [COMMAND]
where COMMAND is one of:
  node           Gibt Informationen über einen bestimmten Knoten aus
  logs           Ruft und zeigt die Protokolle für einen bestimmten Container an
  top            Zeigt Clusterinformationen an
 ...

Um den Zweck und die Verwendung jedes Unterbefehls zu verstehen, kannst du das Flag -help zusammen mit dem Namen des Unterbefehls verwenden. Beispielsweise:

yarn logs -help

Dies wird detaillierte Informationen über den Unterbefehl yarn logs liefern, einschließlich seiner Syntax, Optionen und Beispiele.

Anzeige von Containerprotokollen

In diesem Schritt lernst du, wie du die Protokolle für einen bestimmten Container mithilfe des Befehls yarn logs abrufen und anzeigen kannst.

Zunächst legen wir einen Beispielauftrag ein, um einige Protokolle zu generieren:

Navigiere zum Hadoop-Beispieldirektorium.

cd /home/hadoop/hadoop/share/hadoop/mapreduce

Führe das WordCount-Beispiel aus.

yarn jar hadoop-mapreduce-examples-3.3.6.jar wordcount /home/hadoop/input /home/hadoop/output

Sobald der Auftrag läuft oder abgeschlossen ist, kannst du die Protokolle mit dem Befehl yarn logs abrufen:

Hol dir die Anwendungs-ID aus der Auftragsausgabe.

appId="application_1234567890123_0001"

Zeige die Protokolle für die angegebene Anwendung an.

yarn logs -applicationId $appId

Ersetze application_1234567890123_0001 durch die tatsächliche Anwendungs-ID aus deiner Auftragsausgabe.

Der Befehl yarn logs wird die kombinierten Protokolle aus allen Containern anzeigen, die mit der angegebenen Anwendung assoziiert sind. Du kannst auch die Protokolle für einen bestimmten Container anzeigen, indem du die Option -containerId verwendest:

containerId="container_1234567890123_0001_01_000001"

yarn logs -applicationId $appId -containerId $containerId

Ersetze container_1234567890123_0001_01_000001 durch die tatsächliche Container-ID, die du untersuchen möchtest.

Überwachung von Clusterressourcen

Der Befehl yarn top bietet eine Echtzeitansicht der Ressourcennutzung im Cluster, einschließlich Informationen über laufende Anwendungen, Knotenmanager und Ressourcenzuweisung.

yarn top

Die Ausgabe wird einen Überblick über die Ressourcennutzung im Cluster anzeigen, einschließlich der insgesamt verfügbaren Ressourcen, zugewiesenen Ressourcen und ausstehenden Ressourcen. Darüber hinaus wird eine Liste der laufenden Anwendungen, ihres Fortschritts und der von ihnen verwendeten Ressourcen angezeigt.

Untersuchung von Knoteninformationen

Der Befehl yarn node ermöglicht es Ihnen, detaillierte Informationen über einen bestimmten Knotenmanager oder Ressourcenmanager innerhalb des Hadoop-Clusters zu untersuchen.

Listet Informationen über alle Knoten im Cluster auf.

yarn node -list

Ersetze iZj6c7ur7j3az0k9shzn2kZ:38115 durch die Knotenmanager-ID.

nodeId="iZj6c7ur7j3az0k9shzn2kZ:38115"

Um Informationen über einen Knotenmanager anzuzeigen:

yarn node -status $nodeId

Die Ausgabe wird Informationen wie die Adresse des Knotenmanagers, den Knoten-Health-Status, die verfügbaren Ressourcen und eine Liste der auf dem Knoten laufenden Container anzeigen.

Zusammenfassung

In diesem Labyrinth hast du gelernt, wie du durch die Yarn Commands log die weite Welt der Ressourcenverwaltung in Hadoop durchschreitest. Indem du diese Befehle beherrschst, hast du die Fähigkeit gewonnen, die Ressourcennutzung zu überwachen, den Fortschritt von Aufträgen zu verfolgen und Probleme im Hadoop-Ekosystem zu beheben. Dieses Wissen wird unschätzbare Hilfe sein, wenn du auf deine intergalaktischen Missionen startest, um effiziente Operationen zu gewährleisten und erfolgreiche Datensammlungen von Himmelskörpern durchzuführen. Die Reise, um ein geschickter Raumfahrer zu werden, hat einen bedeutenden Schritt vorwärts gemacht, und du bist nun besser gerüstet, um die Herausforderungen zu bewältigen, die sich in den Tiefen des Weltraums ergeben.