Hadoop FS Shell expunge

Introducción

Bienvenido a nuestro emocionante laboratorio ubicado en una base interestelar donde desempeñas el papel de un habilidoso comunicador interestelar. En este escenario, te encomiendan la gestión del Hadoop HDFS utilizando el comando expunge de la FS Shell para mantener la integridad de los datos y optimizar el uso del almacenamiento. Tu misión es garantizar la limpieza eficiente de archivos y directorios innecesarios para liberar espacio de almacenamiento y mejorar el rendimiento del sistema.

Habilitando y configurando la característica de Papelera de HDFS

En este paso, comenzaremos accediendo a la Shell de FS de Hadoop y examinando los archivos y directorios actuales en el Sistema de Archivos Distribuido de Hadoop.

1. Abra la terminal y cambie al usuario hadoop:

   su - hadoop
   

2. Modifique /home/hadoop/hadoop/etc/hadoop/core-site.xml para habilitar la característica de Papelera:

   nano /home/hadoop/hadoop/etc/hadoop/core-site.xml
   

   Agregue la siguiente propiedad entre las etiquetas <configuration>:

    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
    <property>
        <name>fs.trash.checkpoint.interval</name>
        <value>1440</value>
    </property>
   

   Guarde el archivo y salga del editor de texto.

3. reinicie el servicio de HDFS:

   Detenga el servicio de HDFS:

   /home/hadoop/hadoop/sbin/stop-dfs.sh
   

   Inicie el servicio de HDFS:

   /home/hadoop/hadoop/sbin/start-dfs.sh
   

4. Cree un archivo y agréguelo a la Papelera en el HDFS:

   Cree un archivo en el HDFS:

   hdfs dfs -touchz /user/hadoop/test.txt
   

   Elimine el archivo:

   hdfs dfs -rm /user/hadoop/test.txt
   

5. Verifique si la característica de Papelera está habilitada:

   hdfs dfs -ls /user/hadoop/.Trash/Current/user/hadoop/
   

   Debería ver el archivo que eliminó en el directorio de la Papelera.

Eliminar archivos innecesarios

Ahora, procedamos a eliminar archivos y directorios innecesarios utilizando el comando expunge de la FS Shell.

1. Elimine todos los puntos de control de la Papelera:

   hdfs dfs -expunge -immediate
   

2. Verifique que los archivos innecesarios se hayan eliminado correctamente:

   hdfs dfs -ls /user/hadoop/.Trash
   

   No debería haber archivos o directorios listados.

Resumen

En este laboratorio, exploramos el poder del comando expunge de la Shell de FS de Hadoop para administrar y optimizar el almacenamiento de datos en el Sistema de Archivos Distribuido de Hadoop. Al aprender a iniciar la Shell de FS, visualizar archivos actuales y eliminar datos innecesarios, has adquirido valiosos conocimientos sobre cómo mantener la integridad de los datos y mejorar el rendimiento del sistema. La práctica de estas habilidades te habilitará para administrar eficientemente tu entorno de Hadoop y garantizar un funcionamiento sin problemas.