Configuration de Hadoop HDFS : Un parcours guidé dans le royaume des données

Introduction

Imaginez une situation où vous vous trouvez au milieu d'un ruine désertique, à la recherche d'un conseil auprès d'une figure mythique connue sous le nom d'Oracle du Catastrophe. L'Oracle du Catastrophe a prévu un événement catastrophique qui ne peut être évité que par la configuration correcte de l'infrastructure Hadoop HDFS. Votre objectif est de suivre les instructions de l'Oracle pour assurer la sécurité du royaume des données.

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopYARNGroup(["Hadoop YARN"]) hadoop(("Hadoop")) -.-> hadoop/HadoopHDFSGroup(["Hadoop HDFS"]) hadoop/HadoopHDFSGroup -.-> hadoop/hdfs_setup("HDFS Setup") hadoop/HadoopHDFSGroup -.-> hadoop/fs_ls("FS Shell ls") hadoop/HadoopHDFSGroup -.-> hadoop/fs_mkdir("FS Shell mkdir") hadoop/HadoopHDFSGroup -.-> hadoop/fs_put("FS Shell copyToLocal/put") hadoop/HadoopHDFSGroup -.-> hadoop/fs_stat("FS Shell stat") hadoop/HadoopHDFSGroup -.-> hadoop/data_replication("Data Replication") hadoop/HadoopYARNGroup -.-> hadoop/yarn_node("Yarn Commands node") subgraph Lab Skills hadoop/hdfs_setup -.-> lab-271884{{"Configuration de Hadoop HDFS"}} hadoop/fs_ls -.-> lab-271884{{"Configuration de Hadoop HDFS"}} hadoop/fs_mkdir -.-> lab-271884{{"Configuration de Hadoop HDFS"}} hadoop/fs_put -.-> lab-271884{{"Configuration de Hadoop HDFS"}} hadoop/fs_stat -.-> lab-271884{{"Configuration de Hadoop HDFS"}} hadoop/data_replication -.-> lab-271884{{"Configuration de Hadoop HDFS"}} hadoop/yarn_node -.-> lab-271884{{"Configuration de Hadoop HDFS"}} end

Initialisation de la configuration HDFS

Dans cette étape, vous commencerez par configurer Hadoop HDFS pour préparer le stockage et le traitement des données.

Ouvrez le terminal et suivez les étapes ci-dessous pour commencer.

Basculez sur l'utilisateur Hadoop pour les permissions appropriées :
```
su - hadoop
```
Créez un répertoire pour stocker les données HDFS :
```
hdfs dfs -mkdir /home/hadoop/data
```

Téléchargement de données sur HDFS

Ensuite, vous téléchargerez des données d'échantillonnage dans le répertoire HDFS configuré.

Créez un fichier local avec des données d'échantillonnage :
```
echo 'Hello, Hadoop World!' > /tmp/sample.txt
```

Téléchargez le fichier local sur HDFS :

hdfs dfs -put /tmp/sample.txt /home/hadoop/data

Vérifiez si le fichier existe dans HDFS :
```
hdfs dfs -ls /home/hadoop/data
```

Gestion de la réplication de données

Dans cette étape, vous allez explorer la manière dont HDFS gère la réplication de données.

Vérifiez l'état de réplication du fichier téléchargé :

hdfs fsck /home/hadoop/data/sample.txt -files -blocks -locations

Changez le facteur de réplication du fichier en 2 :
```
hdfs dfs -setrep -R 2 /home/hadoop/data/sample.txt
```

Sommaire

Dans ce laboratoire, nous avons conçu un scénario immergeant où les participants interagissent avec l'Oracle du Catastrophe dans une ruine désertique pour apprendre et pratiquer la configuration de Hadoop HDFS. En suivant les étapes décrites dans le laboratoire, les utilisateurs acquièrent une expérience pratique dans la configuration de HDFS, le téléchargement de données et la gestion de la réplication de données. Ce laboratoire vise à fournir une introduction complète à la configuration de Hadoop HDFS tout en assurant que les utilisateurs ont une compréhension pratique des concepts clés et des opérations impliquées.