Gestion des quotas Hadoop

Introduction

Dans ce laboratoire, vous allez apprendre à gérer la capacité de stockage limitée d'une caravane de chameaux dans le désert arabe, y compris les quotas d'espace par rapport aux quotas de nom. Vous devrez soigneusement planifier et attribuer de l'espace de chargement pour garantir la sécurité et l'intégrité du transport de cargaisons précieuses, y compris des épices et des soies fines.

Skills Graph

Explorer les limites de stockage actuelles

Dans cette étape, vous allez explorer l'utilisation actuelle du stockage du Hadoop Distributed File System (HDFS) et vous familiariser avec les répertoires et les fichiers existants.

1. Basculez sur l'utilisateur hadoop en utilisant la commande su - hadoop. Ensuite, utilisez le code suivant pour créer des fichiers et des répertoires :

hdfs dfs -mkdir -p /cargo_space/fine_silks
hdfs dfs -touchz /cargo_space/spices.txt

2. Utilisez le code suivant pour afficher les fichiers et les répertoires créés :

hdfs dfs -ls -R /cargo_space

Cette commande listera le contenu du répertoire /cargo_space.

3. Interrogez les informations statistiques détaillées du répertoire spécifié dans HDFS et affichez la situation des quotas :

hdfs dfs -count -q /cargo_space

Voici l'explication de la commande ci-dessus :

• hdfs : représente l'outil de ligne de commande pour le système de fichiers distribué Hadoop.
• dfs : représente l'ensemble des commandes qui opèrent sur le système de fichiers distribué.
• -count : cette option est utilisée pour compter le nombre de fichiers et le nombre de répertoires dans le répertoire spécifié.
• -q : Ce paramètre indique qu'il faut afficher les informations de quota pour le répertoire. Les informations de quota incluent les limites d'espace de stockage et de nombre de fichiers définies par le système de fichiers pour le répertoire.
• /cargo_space : C'est le chemin vers le répertoire de destination de l'opération de commande.

Vous verrez les résultats suivants :

none             inf            none             inf            2            1                  0 /cargo_space

Les résultats sont expliqués tour à tour comme suit :

• none : il n'y a pas de limite au nombre de quotas de fichiers (c'est-à-dire de quotas de nom).
• inf : le nombre de fichiers restants sous la limite est infini.
• none : le quota d'espace disque n'a pas de limite.
• inf : l'espace restant sous la limite est illimité.
• 2 : Le nombre de fichiers ou de répertoires dans le répertoire /cargo_space est 2.
• 1 : Les données stockées dans /cargo_space occupent 1 unité de stockage.
• 0 /cargo_space : Le répertoire /cargo_space a une utilisation supplémentaire d'espace disque de 0 octets.

Fixer un quota d'espace pour un répertoire

Dans cette étape, vous allez apprendre à fixer un quota d'espace pour un répertoire dans HDFS, ce qui limitera l'utilisation totale de l'espace disque pour ce répertoire et ses sous-répertoires.

1. Fixez un quota de 1 Go (1073741824 octets) pour le répertoire /cargo_space en exécutant :

hdfs dfsadmin -setSpaceQuota 1073741824 /cargo_space

Cette commande fixe un quota d'espace disque de 1 Go pour le répertoire /cargo_space et ses sous-répertoires.

2. Interrogez les informations statistiques détaillées du répertoire spécifié dans HDFS et affichez la situation des quotas :

hdfs dfs -count -q /cargo_space

Fixer un quota de nom pour un répertoire

En plus de fixer un quota d'espace disque, HDFS vous permet également de fixer un quota pour le nombre maximum de fichiers et de répertoires dans un répertoire. Dans cette étape, vous allez apprendre à fixer ce quota de nom.

1. Fixez un quota de 10 fichiers/répertoires pour le répertoire /cargo_space en exécutant :

hdfs dfsadmin -setQuota 10 /cargo_space

Cette commande fixe un quota de nom de 10 fichiers et répertoires pour le répertoire /cargo_space et ses sous-répertoires.

2. Pour vérifier le quota, exécutez la commande suivante :

hdfs dfs -count -q /cargo_space

Cette commande affichera le nombre actuel de fichiers et de répertoires, ainsi que la limite de quota pour le répertoire spécifié.

Supprimer les limites de quota sur les répertoires

Dans cette étape, vous allez apprendre à supprimer les limites de quota pour les répertoires dans HDFS, y compris les quotas d'espace disque et les quotas de nom définis précédemment.

Suppression des quotas d'espace disque

1. Pour le répertoire /cargo_space, exécutez la commande suivante pour supprimer son quota d'espace disque :

hdfs dfsadmin -clrSpaceQuota /cargo_space

Cette commande supprime la limite de quota d'espace disque pour le répertoire /cargo_space et ses sous-répertoires.

2. Pour confirmer que le quota a été supprimé, interrogez les statistiques détaillées du répertoire spécifié et affichez le quota :

hdfs dfs -count -q /cargo_space

Suppression du quota de nom

1. Pour le répertoire /cargo_space, exécutez la commande suivante pour supprimer ses quotas de comptage de fichiers et de répertoires :

hdfs dfsadmin -clrQuota /cargo_space

Cette commande supprime les limites de quota de fichiers et de répertoires pour le répertoire /cargo_space et ses sous-répertoires.

2. Pour vérifier que le quota a été supprimé, exécutez la commande suivante :

hdfs dfs -count -q /cargo_space

À ce stade, vous pouvez vous assurer que le répertoire /cargo_space n'est plus soumis aux limites de quota définies précédemment.

Sommaire

Félicitations ! Vous avez réussi le laboratoire de gestion des quotas Hadoop, en maîtrisant les techniques de base de gestion des ressources de stockage dans le Hadoop Distributed File System (HDFS). Grâce au scénario Camelot, vous avez appris à explorer l'utilisation actuelle du stockage, à implémenter des quotas d'espace et des quotas de nom. Cette expérience pratique améliore non seulement vos compétences pratiques, mais met également en évidence l'importance de la gestion efficace des ressources dans les systèmes distribués tels que Hadoop.