Le YARN (Yet Another Resource Negotiator) d'Hadoop est un système de gestion des ressources puissant qui joue un rôle crucial dans l'optimisation des performances et de l'efficacité de votre cluster Hadoop. Ce tutoriel vous guidera tout au long du processus de configuration et d'optimisation de l'allocation des ressources YARN pour garantir que vos charges de travail Hadoop fonctionnent au mieux.
Le YARN (Yet Another Resource Negotiator) est le système de gestion des ressources et de planification des tâches dans Hadoop. Il est responsable de l'allocation de ressources telles que le CPU, la mémoire et le stockage aux diverses applications exécutées sur le cluster Hadoop. Une allocation efficace des ressources est cruciale pour optimiser les performances et l'utilisation du cluster Hadoop.
Le YARN utilise une architecture maître-esclave, où le ResourceManager (RM) est le maître et les NodeManagers (NMs) sont les esclaves. Le ResourceManager est responsable de la gestion des ressources du cluster et de la planification des applications, tandis que les NodeManagers sont chargés d'exécuter les conteneurs et de surveiller l'utilisation des ressources sur leurs nœuds respectifs.
Les composants clés de l'allocation des ressources YARN sont les suivants :
Le YARN divise les ressources disponibles sur chaque nœud en conteneurs de ressources, qui sont les unités de base d'allocation des ressources. Chaque conteneur a une quantité spécifique de CPU et de mémoire attribuée.
Lorsqu'une application est soumise au YARN, le ResourceManager lance un Application Master (AM) pour cette application. L'Application Master est responsable de la négociation des ressources auprès du ResourceManager et de la gestion de l'exécution des tâches de l'application.
Le ResourceManager utilise un algorithme de planification pour allouer des ressources aux diverses applications exécutées sur le cluster. Le planificateur par défaut dans le YARN est le Capacity Scheduler, qui permet une allocation hiérarchique des ressources en fonction des files d'attente utilisateur.
Le YARN offre des capacités de surveillance et de reporting étendues, permettant aux administrateurs de suivre l'utilisation des ressources, les performances des applications et la santé du cluster.
Comprendre ces concepts clés est essentiel pour optimiser l'allocation des ressources YARN dans votre cluster Hadoop.
Pour optimiser l'allocation des ressources YARN, vous devez configurer divers paramètres dans les fichiers de configuration YARN. Les principaux fichiers de configuration sont yarn-site.xml et capacity-scheduler.xml.
Le fichier yarn-site.xml contient les paramètres de configuration de base du YARN. Certains des paramètres importants à prendre en compte sont les suivants :
yarn.nodemanager.resource.memory-mb : Ce paramètre définit la quantité totale de mémoire physique disponible sur chaque nœud pour les conteneurs YARN.yarn.nodemanager.resource.cpu-vcores : Ce paramètre définit le nombre total de cœurs CPU virtuels disponibles sur chaque nœud pour les conteneurs YARN.yarn.scheduler.minimum-allocation-mb : Ce paramètre définit la quantité minimale de mémoire qui peut être allouée à un conteneur.yarn.scheduler.maximum-allocation-mb : Ce paramètre définit la quantité maximale de mémoire qui peut être allouée à un conteneur.yarn.scheduler.minimum-allocation-vcores : Ce paramètre définit le nombre minimal de cœurs CPU virtuels qui peut être alloué à un conteneur.yarn.scheduler.maximum-allocation-vcores : Ce paramètre définit le nombre maximal de cœurs CPU virtuels qui peut être alloué à un conteneur.Voici un exemple de configuration de yarn-site.xml :
<configuration>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>32768</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>16</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>16384</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-vcores</name>
<value>1</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-vcores</name>
<value>8</value>
</property>
</configuration>Le fichier capacity-scheduler.xml est utilisé pour configurer le Capacity Scheduler, qui est le planificateur par défaut dans le YARN. Ce fichier vous permet de définir des files d'attente et de définir des politiques d'allocation de ressources pour ces files d'attente.
Certains des paramètres importants à prendre en compte dans le fichier capacity-scheduler.xml sont les suivants :
yarn.scheduler.capacity.root.queues : Ce paramètre définit les files d'attente de niveau supérieur.yarn.scheduler.capacity.root.default.capacity : Ce paramètre définit la capacité par défaut pour la file d'attente racine.yarn.scheduler.capacity.root.default.maximum-capacity : Ce paramètre définit la capacité maximale pour la file d'attente racine.yarn.scheduler.capacity.root.<queue-name>.capacity : Ce paramètre définit la capacité pour une file d'attente spécifique.yarn.scheduler.capacity.root.<queue-name>.maximum-capacity : Ce paramètre définit la capacité maximale pour une file d'attente spécifique.En configurant ces paramètres, vous pouvez vous assurer que les ressources YARN sont allouées de manière efficace et efficiente pour répondre aux besoins de vos applications Hadoop.
Une fois que vous avez configuré les paramètres des ressources YARN, vous pouvez prendre des mesures supplémentaires pour optimiser l'utilisation des ressources dans votre cluster Hadoop.
Le YARN prend en charge l'allocation dynamique des ressources, ce qui permet au ResourceManager d'ajuster automatiquement les ressources allouées aux applications en fonction de leurs besoins actuels. Cela peut contribuer à améliorer l'utilisation globale des ressources et à éviter le gaspillage de ressources.
Pour activer l'allocation dynamique des ressources, vous pouvez définir les paramètres suivants dans yarn-site.xml :
<property>
<name>yarn.resourcemanager.dynamic-resource-allocation.enabled</name>
<value>true</value>
</property>La fonction de préemption du YARN permet au ResourceManager de récupérer les ressources des applications de basse priorité et de les allouer aux applications de plus haute priorité. Cela peut aider à garantir que les applications critiques reçoivent les ressources dont elles ont besoin.
Pour activer la préemption, vous pouvez définir les paramètres suivants dans capacity-scheduler.xml :
<property>
<name>yarn.scheduler.capacity.root.queues.default.priority</name>
<value>10</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.queues.default.maximum-am-resource-percent</name>
<value>0.5</value>
</property>Le YARN vous permet de définir des contraintes de placement des applications, ce qui peut aider à garantir que les applications sont planifiées sur les nœuds les plus appropriés. Cela peut être particulièrement utile pour les applications qui ont des exigences matérielles spécifiques, telles que des GPU ou des nœuds à forte mémoire.
Vous pouvez définir des contraintes de placement des applications à l'aide du paramètre yarn.application.placement.constraints dans le script de soumission de l'application. Voici un exemple :
--conf yarn.application.placement.constraints='{
"nodeAntiAffinity": {
"type": "PREFER_DIFFERENT_NODE",
"targetTags": ["gpu"]
}
}'Cette contrainte garantit que les conteneurs de l'application sont placés sur des nœuds qui n'ont pas la balise "gpu".
Le YARN offre des capacités de surveillance et de reporting étendues, qui peuvent vous aider à identifier les goulots d'étranglement et à optimiser l'utilisation des ressources. Vous pouvez utiliser des outils tels que l'interface web YARN, l'interface en ligne de commande YARN et les métriques YARN pour surveiller et analyser l'utilisation des ressources de votre cluster.
En mettant en œuvre ces techniques d'optimisation, vous pouvez vous assurer que votre cluster Hadoop utilise efficacement les ressources YARN, ce qui entraîne une amélioration des performances des applications et de l'utilisation globale du cluster.
À la fin de ce tutoriel, vous aurez une compréhension approfondie de la manière de configurer les paramètres des ressources YARN et d'optimiser l'utilisation des ressources dans votre environnement Hadoop. Cette connaissance vous aidera à améliorer les performances globales, l'efficacité et la scalabilité de votre cluster Hadoop, en garantissant que vos applications et vos tâches de traitement de données basées sur Hadoop fonctionnent de manière fluide et efficace.
