Hadoop FS Shell expunge

Introduction

Bienvenue dans notre incroyable laboratoire situé dans une base interstellaire où vous incarnez le rôle d'un communicateur intergalactique compétent. Dans ce scénario, vous êtes chargé de gérer le Hadoop HDFS en utilisant la commande expunge de la FS Shell pour maintenir l'intégrité des données et optimiser l'utilisation de l'espace de stockage. Votre mission est d'assurer le nettoyage efficace des fichiers et répertoires inutiles pour libérer de l'espace de stockage et améliorer les performances du système.

Activation et configuration de la fonction de corbeille HDFS

Dans cette étape, commençons par accéder à la console FS Hadoop et examiner les fichiers et répertoires actuels dans le système de fichiers distribué Hadoop.

1. Ouvrez un terminal et basculez sur l'utilisateur hadoop :

   su - hadoop
   

2. Modifiez /home/hadoop/hadoop/etc/hadoop/core-site.xml pour activer la fonction de corbeille :

   nano /home/hadoop/hadoop/etc/hadoop/core-site.xml
   

   Ajoutez la propriété suivante entre les balises <configuration> :

    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
    <property>
        <name>fs.trash.checkpoint.interval</name>
        <value>1440</value>
    </property>
   

   Enregistrez le fichier et quittez l'éditeur de texte.

3. Redémarrez le service HDFS :

   Arrêtez le service HDFS :

   /home/hadoop/hadoop/sbin/stop-dfs.sh
   

   Démarrez le service HDFS :

   /home/hadoop/hadoop/sbin/start-dfs.sh
   

4. Créez un fichier et supprimez-le dans le HDFS :

   Créez un fichier dans le HDFS :

   hdfs dfs -touchz /user/hadoop/test.txt
   

   Supprimez le fichier :

   hdfs dfs -rm /user/hadoop/test.txt
   

5. Vérifiez si la fonction de corbeille est activée :

   hdfs dfs -ls /user/hadoop/.Trash/Current/user/hadoop/
   

   Vous devriez voir le fichier que vous avez supprimé dans le répertoire de corbeille.

Supprimer les fichiers inutiles

Maintenant, passons à la suppression des fichiers et répertoires inutiles en utilisant la commande expunge de la FS Shell.

1. Supprimez tous les points de contrôle de la corbeille :

   hdfs dfs -expunge -immediate
   

2. Vérifiez que les fichiers inutiles ont été supprimés avec succès :

   hdfs dfs -ls /user/hadoop/.Trash
   

   Aucun fichier ou répertoire ne devrait être listé.

Résumé

Dans ce laboratoire, nous avons exploré le pouvoir de la commande expunge de la FS Shell Hadoop pour gérer et optimiser le stockage de données dans le système de fichiers distribué Hadoop. En apprenant à lancer la FS Shell, à visualiser les fichiers actuels et à supprimer les données inutiles, vous avez acquis des connaissances précieuses sur le maintien de l'intégrité des données et l'amélioration des performances du système. La pratique de ces compétences vous permettra de gérer efficacement votre environnement Hadoop et d'assurer des opérations sans heurts.