Dominando la gestión de DataNode y NameNode en Hadoop

Introducción

Bienvenido a nuestro Laboratorio de Tecnología Avanzada! En este entorno de realidad virtual, asumirás el papel de un Diseñador de Realidad Virtual con la tarea de dominar las habilidades de gestión de DataNode y NameNode en Hadoop HDFS. El objetivo de este laboratorio es brindar experiencia práctica en la gestión efectiva de estos componentes clave en un clúster Hadoop.

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopHDFSGroup(["Hadoop HDFS"]) hadoop(("Hadoop")) -.-> hadoop/HadoopYARNGroup(["Hadoop YARN"]) hadoop/HadoopHDFSGroup -.-> hadoop/hdfs_setup("HDFS Setup") hadoop/HadoopHDFSGroup -.-> hadoop/fs_rm("FS Shell rm") hadoop/HadoopHDFSGroup -.-> hadoop/node("DataNode and NameNode Management") hadoop/HadoopYARNGroup -.-> hadoop/yarn_node("Yarn Commands node") hadoop/HadoopYARNGroup -.-> hadoop/resource_manager("Resource Manager") subgraph Lab Skills hadoop/hdfs_setup -.-> lab-271895{{"Gestión de DataNode y NameNode en Hadoop"}} hadoop/fs_rm -.-> lab-271895{{"Gestión de DataNode y NameNode en Hadoop"}} hadoop/node -.-> lab-271895{{"Gestión de DataNode y NameNode en Hadoop"}} hadoop/yarn_node -.-> lab-271895{{"Gestión de DataNode y NameNode en Hadoop"}} hadoop/resource_manager -.-> lab-271895{{"Gestión de DataNode y NameNode en Hadoop"}} end

Determinar el estado de DataNode y NameNode

En este paso, configurarás y comenzarás los servicios de DataNode y NameNode en el entorno de Hadoop.

Abra una terminal y use el comando para cambiar al usuario hadoop:
```
su - hadoop
```
Si los servicios de NameNode y DataNode no están en ejecución, inícielos usando los siguientes comandos:
```
/home/hadoop/hadoop/sbin/start-dfs.sh
```

Use el comando jps para comprobar si los servicios de NameNode y DataNode están en ejecución:

jps

Salida esperada:

hadoop:~/ $ jps
2992 ResourceManager
2406 NameNode
2807 SecondaryNameNode
2556 DataNode
3133 NodeManager
4462 Jps

Administrar el almacenamiento de DataNode

En este paso, inspeccionarás y administrarás el espacio de almacenamiento del DataNode.

Verifica el espacio de almacenamiento disponible en el DataNode:
```
hdfs dfsadmin -report
```
Elimina un archivo específico del DataNode:
```
hdfs dfs -rm /user/hadoop/testfile.txt
```
Si recibes un mensaje de error: rm: No se puede eliminar /user/hadoop/testfile.txt. El nodo principal está en modo seguro.

Eso se debe a que HDFS se acaba de iniciar y está en modo seguro. Simplemente espera unos segundos y intenta de nuevo.

Supervisión del NameNode

En este paso, supervisarás el NameNode para garantizar la estabilidad y la salud del clúster del Sistema de Archivos Distribuido de Hadoop (HDFS).

Verifica el estado del clúster HDFS:
```
hdfs dfsadmin -report
```
Supervisa la salud general del clúster:
```
hdfs fsck /
```

Resumen

En este laboratorio, nos centramos en ejercicios prácticos relacionados con la gestión de DataNode y NameNode en Hadoop HDFS. Siguiendo los pasos detallados y verificadores proporcionados, adquiriste experiencia práctica en la configuración, gestión del almacenamiento y supervisión de los componentes del clúster Hadoop. ¡Que te diviertas explorando el mundo de la gestión de DataNode y NameNode de Hadoop!