Hadoop Yarn Befehle Anwendung

Einführung

In der weitläufigen und unbarmherzigen Sahara-Wüste beginnt ein berühmter Entdecker eine wagemutige Expedition, um die Geheimnisse einer alten Zivilisation zu entdecken. Mit der glühenden Sonne über dem Kopf und den beweglichen Sands unter den Füßen müssen sie durch gefährliche Dünen und harte Bedingungen navigieren, um ihr Ziel zu erreichen: eine verborgene archäologische Stätte, von der man sagt, dass sie unerschätzbare Artefakte enthält.

Ihre Mission ist nicht nur, diese alten Relikte zu gräben, sondern auch, die fortgeschrittenen Technologien der längst vergessenen Gesellschaft zu studieren. Glücklicherweise hat der Entdecker ein leistungsstarkes Tool mitgebracht: Hadoop YARN (Yet Another Resource Negotiator), eine Clustermanagement-Technologie, die ihnen helfen wird, die großen Mengen an Daten zu verarbeiten und zu analysieren, die sie auf ihrem Weg antrennen werden.

Skills Graph

Entdecken Sie den Hadoop YARN Resource Manager

In diesem Schritt werden wir den Hadoop YARN Resource Manager erkunden, der für die Verwaltung der Clusterressourcen und die Planung von Anwendungen verantwortlich ist.

Zunächst wechseln wir zum Benutzer hadoop, indem wir folgenden Befehl in der Konsole ausführen:

su - hadoop

Als Nächstes erhalten wir Informationen über den YARN Resource Manager, indem wir folgenden Befehl ausführen:

yarn node --list

Dieser Befehl zeigt eine Liste der aktiven NodeManagers im Hadoop-Cluster an, zusammen mit ihren jeweiligen Status, NodeIDs und anderen relevanten Informationen.

Hier ist ein Beispielausgabe:

2024-03-16 22:35:03,954 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /0.0.0.0:8032
Total Nodes:1
         Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
iZj6cb368r3kuiwgkci85bZ:39587	        RUNNING	iZj6cb368r3kuiwgkci85bZ:8042	                           0

Ein YARN-Anwendung einreichen

In diesem Schritt lernen wir, wie wir eine YARN-Anwendung an den Cluster senden. Wir verwenden einen einfachen Fall, bei dem die Berechnung von Pi durchgeführt wird.

yarn jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 3 3

Die Ausgabe wird das Ergebnis der Berechnung enthalten.

Job Finished in 19.117 seconds
Estimated value of Pi is 3.55555555555555555556

Zusammenfassung

In diesem Lab haben wir den Hadoop YARN (Yet Another Resource Negotiator) untersucht und gelernt, wie man mit dem Resource Manager interagiert, um Clusterressourcen zu verwalten und Anwendungen zu planen. Wir haben begonnen, indem wir die aktiven NodeManagers im Cluster aufgelistet haben, was uns Einblicke in die verfügbaren Ressourcen gegeben hat.

Als Nächstes haben wir eine YARN-Anwendung eingereicht, die den Wert von Pi auf 25 Stellen berechnet. Die Anwendung wurde erfolgreich eingereicht und ausgeführt, was die Fähigkeit von YARN zeigt, Ressourcen effizient zuzuweisen und verteilte Aufgaben auszuführen.

Durch dieses Lab habe ich praktisches Wissen über YARN-Befehle und über die Nutzung der Macht von Hadoop für verteilte Rechenaufgaben gewonnen. Die Kombination von theoretischen Konzepten und praktischen Übungen hat mein Verständnis dieser leistungsstarken Technologie festigt und mich auf reale Szenarien vorbereitet, in denen effiziente Datenverarbeitung und -analyse von entscheidender Bedeutung sind.