Einführung
In einer fernen Galaxie dient die Andromeda-Raumstation als Drehkreuz für die intergalaktische Exploration und Forschung. Als geschickter Raumfahrzeugpilot ist deine Mission, durch das weite Weltall zu navigieren, Daten von verschiedenen Himmelskörpern zu sammeln und zu analysieren. Deine Reise ist jedoch nicht ohne Herausforderungen. Das Bordcomputer-System des Raumfahrzeugs, das von Hadoop angetrieben wird, erfordert von dir, die Kunst des effizienten Managements und der Überwachung seiner Ressourcen mit Hilfe von Yarn Commands log zu meistern.
Dein Ziel ist es, die reibungslose Durchführung deiner Expeditionen sicherzustellen, indem du eine umfassende Kenntnis von Yarn Commands log erlangst, einem leistungsstarken Tool innerhalb des Hadoop-Ekosystems. Indem du dieses Tool meisterst, wirst du in der Lage sein, die Ressourcennutzung zu überwachen, den Fortschritt von Jobs zu verfolgen und alle auftauchenden Probleme zu beheben, was letztendlich zum Erfolg deiner Missionen führt.
Vertraut machen mit Yarn-Befehlen und Protokollen
In diesem Schritt lernst du die grundlegenden Konzepte von Yarn Commands log und seine Rolle bei der Verwaltung von Ressourcen innerhalb des Hadoop-Ekosystems kennen.
Ändere zunächst den Benutzer auf hadoop und wechsle dann in das Home-Verzeichnis des hadoop-Benutzers:
su - hadoop
Zeige dann die Liste der verfügbaren Yarn Commands an.
yarn --help
Der Befehl yarn --help zeigt eine Liste der verfügbaren Unterbefehle und ihrer Beschreibungen an. Unter diesen Unterbefehlen findest du mehrere, die mit Logs zusammenhängen, wie yarn logs, yarn top und yarn node.
Hier ist ein Beispiel für die Ausgabe, die du sehen könntest:
Usage: yarn [--help] [COMMAND]
where COMMAND is one of:
node Gibt Informationen über einen bestimmten Knoten aus
logs Ruft und zeigt die Protokolle für einen bestimmten Container an
top Zeigt Clusterinformationen an
...
Um den Zweck und die Verwendung jedes Unterbefehls zu verstehen, kannst du das Flag -help zusammen mit dem Namen des Unterbefehls verwenden. Beispielsweise:
yarn logs -help
Dies wird detaillierte Informationen über den Unterbefehl yarn logs liefern, einschließlich seiner Syntax, Optionen und Beispiele.
Anzeigen von Containerprotokollen
In diesem Schritt lernst du, wie du die Protokolle für einen bestimmten Container mithilfe des Befehls yarn logs abrufen und anzeigen kannst.
Zunächst legen wir einen Beispielauftrag ein, um einige Protokolle zu generieren:
Navigiere zum Hadoop-Beispieldirektorium.
cd /home/hadoop/hadoop/share/hadoop/mapreduce
Führe das WordCount-Beispiel aus.
yarn jar hadoop-mapreduce-examples-3.3.6.jar wordcount /home/hadoop/input /home/hadoop/output
Sobald der Auftrag läuft oder abgeschlossen ist, kannst du die Protokolle mit dem Befehl yarn logs abrufen:
Hol dir die Anwendungs-ID aus der Auftragsausgabe.
appId="application_1234567890123_0001"
Zeige die Protokolle für die angegebene Anwendung an.
yarn logs -applicationId $appId
Ersetze application_1234567890123_0001 durch die tatsächliche Anwendungs-ID aus deiner Auftragsausgabe.
Der Befehl yarn logs wird die kombinierten Protokolle aus allen Containern anzeigen, die mit der angegebenen Anwendung assoziiert sind. Du kannst auch die Protokolle für einen bestimmten Container anzeigen, indem du die Option -containerId verwendest:
containerId="container_1234567890123_0001_01_000001"
yarn logs -applicationId $appId -containerId $containerId
Ersetze container_1234567890123_0001_01_000001 durch die tatsächliche Container-ID, die du untersuchen möchtest.
Überwachen von Clusterressourcen
Der Befehl yarn top bietet eine Echtzeitansicht der Ressourcennutzung im Cluster, einschließlich Informationen über laufende Anwendungen, Knotenmanager und Ressourcenzuweisung.
yarn top
Die Ausgabe wird einen Überblick über die Ressourcennutzung im Cluster anzeigen, einschließlich der insgesamt verfügbaren Ressourcen, zugewiesenen Ressourcen und ausstehenden Ressourcen. Darüber hinaus wird eine Liste der laufenden Anwendungen, ihres Fortschritts und der von ihnen verwendeten Ressourcen angezeigt.
Prüfen von Knoteninformationen
Der Befehl yarn node ermöglicht es Ihnen, detaillierte Informationen über einen bestimmten Knotenmanager oder Ressourcenmanager innerhalb des Hadoop-Clusters zu untersuchen.
Listet Informationen über alle Knoten im Cluster auf.
yarn node -list
Ersetze iZj6c7ur7j3az0k9shzn2kZ:38115 durch die Knotenmanager-ID.
nodeId="iZj6c7ur7j3az0k9shzn2kZ:38115"
Um Informationen über einen Knotenmanager anzuzeigen:
yarn node -status $nodeId
Die Ausgabe wird Informationen wie die Adresse des Knotenmanagers, den Knoten-Health-Status, die verfügbaren Ressourcen und eine Liste der auf dem Knoten laufenden Container anzeigen.
Zusammenfassung
In diesem Labyrinth hast du gelernt, wie du durch die Yarn Commands log die weite Welt der Ressourcenverwaltung in Hadoop durchschreitest. Indem du diese Befehle beherrschst, hast du die Fähigkeit gewonnen, die Ressourcennutzung zu überwachen, den Fortschritt von Aufträgen zu verfolgen und Probleme im Hadoop-Ekosystem zu beheben. Dieses Wissen wird unschätzbare Hilfe sein, wenn du auf deine intergalaktischen Missionen startest, um effiziente Operationen zu gewährleisten und erfolgreiche Datensammlungen von Himmelskörpern durchzuführen. Die Reise, um ein geschickter Raumfahrer zu werden, hat einen bedeutenden Schritt vorwärts gemacht, und du bist nun besser gerüstet, um die Herausforderungen zu bewältigen, die sich in den Tiefen des Weltraums ergeben.
