Gestión de DataNode y NameNode en Hadoop

Introducción

Bienvenido a nuestro Laboratorio de Tecnología Avanzada! En este entorno de realidad virtual, asumirás el papel de un Diseñador de Realidad Virtual con la tarea de dominar las habilidades de gestión de DataNode y NameNode en Hadoop HDFS. El objetivo de este laboratorio es brindar experiencia práctica en la gestión efectiva de estos componentes clave en un clúster Hadoop.

Determinar el estado de DataNode y NameNode

En este paso, configurarás y comenzarás los servicios de DataNode y NameNode en el entorno de Hadoop.

1. Abra una terminal y use el comando para cambiar al usuario hadoop:

   su - hadoop
   

2. Si los servicios de NameNode y DataNode no están en ejecución, inícielos usando los siguientes comandos:

   /home/hadoop/hadoop/sbin/start-dfs.sh
   

3. Use el comando jps para comprobar si los servicios de NameNode y DataNode están en ejecución:

   jps
   

   Salida esperada:

   hadoop:~/ $ jps
   2992 ResourceManager
   2406 NameNode
   2807 SecondaryNameNode
   2556 DataNode
   3133 NodeManager
   4462 Jps
   

Administrando el almacenamiento de DataNode

En este paso, inspeccionarás y administrarás el espacio de almacenamiento del DataNode.

1. Verifica el espacio de almacenamiento disponible en el DataNode:

   hdfs dfsadmin -report
   

2. Elimina un archivo específico del DataNode:

   hdfs dfs -rm /user/hadoop/testfile.txt
   

   Si recibes un mensaje de error: rm: No se puede eliminar /user/hadoop/testfile.txt. El nodo principal está en modo seguro.

   Eso se debe a que HDFS se acaba de iniciar y está en modo seguro. Simplemente espera unos segundos y intenta de nuevo.

Supervisión de NameNode

En este paso, supervisarás el NameNode para garantizar la estabilidad y la salud del clúster del Sistema de Archivos Distribuido de Hadoop (HDFS).

1. Verifica el estado del clúster HDFS:

   hdfs dfsadmin -report
   

2. Supervisa la salud general del clúster:

   hdfs fsck /
   

Resumen

En este laboratorio, nos centramos en ejercicios prácticos relacionados con la gestión de DataNode y NameNode en Hadoop HDFS. Siguiendo los pasos detallados y verificadores proporcionados, adquiriste experiencia práctica en la configuración, gestión del almacenamiento y supervisión de los componentes del clúster Hadoop. ¡Que te diviertas explorando el mundo de la gestión de DataNode y NameNode de Hadoop!