Hadoop FS Shell du

Introduction

Imaginez un scénario où vous êtes un collecteur de ressources spatiales dans un poste de commerce spatial. Votre objectif est de gérer et d'analyser efficacement les données stockées dans le Hadoop HDFS en utilisant la commande du dans le Hadoop FS Shell. En comprenant comment utiliser du, vous serez en mesure de récupérer les informations sur l'utilisation du disque des fichiers et des répertoires de votre HDFS.

Récupérer des informations sur l'utilisation du disque

Dans cette étape, vous allez apprendre à utiliser la commande du pour afficher les informations sur l'utilisation du disque pour les fichiers et les répertoires dans le Hadoop HDFS.

Ouvrez le terminal et suivez les étapes ci-dessous pour commencer.

1. Basculez sur l'utilisateur Hadoop :

   su - hadoop
   

2. Dans votre répertoire racine HDFS, créez un répertoire d'échantillonnage et un fichier :

   hdfs dfs -mkdir /user/hadoop/sample_dir
   

   echo "sample_file" | hdfs dfs -appendToFile - /user/hadoop/sample_dir/sample_file.txt
   

3. Vérifiez l'utilisation du disque du répertoire sample_dir et entrez les résultats dans un fichier texte :

   hdfs dfs -du -v /user/hadoop/sample_dir > /home/hadoop/du_result.txt
   

4. La sortie affichera l'utilisation du disque du répertoire sample_dir dans un format lisible par l'homme.

   cat /home/hadoop/du_result.txt
   

   Sortie :

   SIZE DISK_SPACE_CONSUMED_WITH_ALL_REPLICAS FULL_PATH_NAME
   12 12 /user/hadoop/sample_dir/sample_file.txt
   

Analyser l'utilisation du disque de manière récursive

Dans cette étape, vous allez étendre vos connaissances sur du pour analyser l'utilisation du disque de manière récursive pour les répertoires dans le Hadoop HDFS.

1. Créez des sous-répertoires et des fichiers dans le répertoire sample_dir :

   hdfs dfs -mkdir /user/hadoop/sample_dir/sub_dir
   

   echo "sub_file" | hdfs dfs -appendToFile - /user/hadoop/sample_dir/sub_dir/sub_file.txt
   

2. Vérifiez l'utilisation du disque du répertoire sample_dir, y compris ses sous-répertoires :

   hdfs dfs -du -s -v /user/hadoop/sample_dir > /home/hadoop/du_result2.txt
   

3. La sortie affichera l'utilisation totale du disque du répertoire sample_dir, y compris ses sous-répertoires.

   cat /home/hadoop/du_result2.txt
   

   Sortie :

   SIZE DISK_SPACE_CONSUMED_WITH_ALL_REPLICAS FULL_PATH_NAME
   21 21 /user/hadoop/sample_dir
   

Résumé

Dans ce laboratoire, nous nous sommes concentrés sur l'utilisation de la commande du dans le Hadoop FS Shell pour récupérer des informations sur l'utilisation du disque pour les fichiers et les répertoires dans le Hadoop HDFS. En maîtrisant cette commande, vous pouvez gérer et analyser efficacement la consommation de stockage dans votre cluster Hadoop. Ce laboratoire visait à fournir une expérience pratique et des connaissances pratiques aux débutants souhaitant améliorer leurs compétences en matière de gestion du Hadoop HDFS.