Gestion de DataNode et NameNode dans Hadoop

Introduction

Bienvenue dans notre Laboratoire Tech City de pointe! Dans cet environnement de réalité virtuelle, vous assumerez le rôle d'un concepteur de réalité virtuelle chargé de maîtriser les compétences de gestion de DataNode et NameNode dans Hadoop HDFS. L'objectif de ce laboratoire est de fournir une expérience pratique pour gérer efficacement ces composants clés dans un cluster Hadoop.

Déterminer l'état de DataNode et NameNode

Dans cette étape, vous allez configurer et démarrer les services DataNode et NameNode dans l'environnement Hadoop.

1. Ouvrez un terminal et utilisez la commande pour vous connecter en tant qu'utilisateur hadoop:

   su - hadoop

2. Si les services NameNode et DataNode ne sont pas en cours d'exécution, démarrez-les à l'aide des commandes suivantes:

   /home/hadoop/hadoop/sbin/start-dfs.sh

3. Utilisez la commande jps pour vérifier si les services NameNode et DataNode sont en cours d'exécution:

   jps

Sortie attendue:

```bash
hadoop:~/ $ jps
2992 ResourceManager
2406 NameNode
2807 SecondaryNameNode
2556 DataNode
3133 NodeManager
4462 Jps
```

Gérer le stockage de DataNode

Dans cette étape, vous allez inspecter et gérer l'espace de stockage du DataNode.

1. Vérifiez l'espace de stockage disponible sur le DataNode :

   hdfs dfsadmin -report

2. Supprimez un fichier spécifique du DataNode :

   hdfs dfs -rm /user/hadoop/testfile.txt

Si vous recevez un message d'erreur : rm: Cannot delete /user/hadoop/testfile.txt. Name node is in safe mode.

Cela est dû au fait que HDFS vient d'être démarré et qu'il est en mode sécurisé. Attendez quelques secondes et essayez à nouveau.

Surveillance du NameNode

Dans cette étape, vous allez surveiller le NameNode pour vous assurer de la stabilité et de la santé du cluster Hadoop Distributed File System (HDFS).

1. Vérifiez l'état du cluster HDFS :

   hdfs dfsadmin -report

2. Surveillez l'état général de santé du cluster :

   hdfs fsck /

Sommaire

Dans ce laboratoire, nous nous sommes concentrés sur des exercices pratiques liés à la gestion de DataNode et NameNode dans Hadoop HDFS. En suivant les étapes détaillées et les vérificateurs fournis, vous avez acquis une expérience pratique dans la configuration, la gestion du stockage et la surveillance des composants du cluster Hadoop. Amusez-vous à explorer le monde de la gestion de DataNode et NameNode Hadoop!