Maîtriser Hadoop FS Shell : commandes copyFromLocal et get

Introduction

Dans une galaxie très loin, très loin, existe une guerre spatiale en cours entre différentes factions. La galaxie est également animée de commerçants spatiaux essayant de faire des profits au milieu du chaos. Notre histoire porte sur un tel commerçant spatial qui doit transférer des fichiers de données précieux en utilisant le système de fichiers HDFS d'Hadoop. Le but du commerçant est de copier avec succès des fichiers de son système local vers Hadoop en utilisant la commande copyFromLocal et de récupérer des fichiers de Hadoop vers son système local en utilisant la commande get.

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopHDFSGroup(["Hadoop HDFS"]) hadoop/HadoopHDFSGroup -.-> hadoop/hdfs_setup("HDFS Setup") hadoop/HadoopHDFSGroup -.-> hadoop/fs_ls("FS Shell ls") hadoop/HadoopHDFSGroup -.-> hadoop/fs_mkdir("FS Shell mkdir") hadoop/HadoopHDFSGroup -.-> hadoop/fs_get("FS Shell copyFromLocal/get") subgraph Lab Skills hadoop/hdfs_setup -.-> lab-271871{{"Hadoop FS Shell copyFromLocal/get"}} hadoop/fs_ls -.-> lab-271871{{"Hadoop FS Shell copyFromLocal/get"}} hadoop/fs_mkdir -.-> lab-271871{{"Hadoop FS Shell copyFromLocal/get"}} hadoop/fs_get -.-> lab-271871{{"Hadoop FS Shell copyFromLocal/get"}} end

Copier un fichier vers Hadoop

Dans cette étape, le commerçant spatial doit copier un fichier nommé data.txt de son système local vers HDFS d'Hadoop.

Ouvrez le terminal et suivez les étapes ci-dessous pour commencer.

Basculez sur l'utilisateur hadoop pour les permissions appropriées :
```
su - hadoop
```
Créez un répertoire nommé space_data dans Hadoop :
```
hdfs dfs -mkdir /space_data
```

Copiez le fichier local data.txt vers Hadoop :

hdfs dfs -copyFromLocal /home/hadoop/data.txt /space_data/

Vérifiez que le fichier a été copié avec succès :
```
hdfs dfs -ls /space_data
```

Récupérer un fichier depuis Hadoop

Maintenant, le commerçant spatial doit récupérer le fichier data.txt depuis Hadoop et le sauvegarder sur son système local.

Accédez au répertoire où vous voulez enregistrer le fichier récupéré :
```
mkdir /home/hadoop/space_data && cd /home/hadoop/space_data
```
Récupérez le fichier data.txt depuis Hadoop vers le système local :
```
hdfs dfs -get /space_data/data.txt
```
Vérifiez que le fichier a été récupéré avec succès :
```
ls -l data.txt
```

Sommaire

Dans ce laboratoire, nous avons simulé un scénario de commerce spatial où un commerçant devait transférer des fichiers de données entre son système local et HDFS d'Hadoop. En pratiquant les commandes copyFromLocal et get dans le Shell de système de fichiers Hadoop, les utilisateurs peuvent apprendre à déplacer efficacement des fichiers vers et depuis le système de fichiers distribué d'Hadoop. Cette expérience pratique aide à comprendre les opérations de gestion de fichiers de base dans Hadoop et améliore les compétences de travail dans les écosystèmes de données volumineuses.