## Entdecken Sie die YARN-Architektur In diesem Schritt werden wir die YARN-Architektur und ihre wichtigsten Komponenten untersuchen und so die Grundlage für das Verständnis dafür legen, wie sie die Ressourcen innerhalb des Hadoop-Ekosystems verwaltet und zuweist. Die YARN-Architektur besteht aus zwei Hauptkomponenten: 1. **ResourceManager (RM)**: Der ResourceManager fungiert als zentrale Instanz, die die verfügbaren Ressourcen (CPU, Arbeitsspeicher usw.) im gesamten Cluster verhandelt und zuweist. Er besteht aus zwei Komponenten: - **Scheduler**: Verantwortlich für die Zuweisung von Ressourcen an die verschiedenen laufenden Anwendungen basierend auf vordefinierten Scheduling-Policies. - **ApplicationsManager**: Verantwortlich für das Annehmen von Auftragseinreichungen, das Verhandeln des ersten Ressourcencontainers für die Ausführung des ApplicationMasters und das Bereitstellen des Diensts zum Neustarten des ApplicationMaster-Containers bei einem Fehler. 2. **NodeManager (NM)**: Der NodeManager läuft auf jedem Knoten im Cluster und ist für die Verwaltung der Knotenressourcen und die Überwachung der auf diesem Knoten laufenden Container verantwortlich. Um die YARN-Architektur besser zu verstehen, wechseln wir in das Hadoop-Konfigurationsverzeichnis und untersuchen die relevanten Konfigurationsdateien. Aber zunächst müssen wir den Benutzer wechseln: ```bash su - hadoop ``` Navigieren Sie zum Hadoop-Konfigurationsverzeichnis: ```bash cd /home/hadoop/hadoop/etc/hadoop/ ``` Öffnen Sie die Datei `yarn-site.xml` mit dem `vim`-Tool: ```xml yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler ``` In dieser Konfigurationsdatei können wir sehen, dass der `mapreduce_shuffle`-Hilfsdienst für den NodeManager aktiviert ist. Dieser Dienst ist für die Verwaltung der Shuffle-Operationen in MapReduce-Aufträgen verantwortlich und gewährleistet eine effiziente Datenübertragung zwischen den Map- und Reduce-Phasen.