Hadoop FS Shell: Gérer et mettre à jour efficacement les données d'extraction

Introduction

Bienvenue dans notre laboratoire Hadoop FS Shell situé dans l'Ouest sauvage! Vous êtes un prospecteur d'or nommé Jack qui vient de découvrir une riche veine d'or dans une ancienne mine. Votre défi est d'utiliser la fonction appendToFile de Hadoop HDFS FS Shell pour gérer et mettre à jour efficacement vos données d'extraction.

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopHDFSGroup(["Hadoop HDFS"]) hadoop(("Hadoop")) -.-> hadoop/HadoopHiveGroup(["Hadoop Hive"]) hadoop/HadoopHDFSGroup -.-> hadoop/hdfs_setup("HDFS Setup") hadoop/HadoopHDFSGroup -.-> hadoop/fs_cat("FS Shell cat") hadoop/HadoopHDFSGroup -.-> hadoop/fs_mkdir("FS Shell mkdir") hadoop/HadoopHiveGroup -.-> hadoop/import_export_data("Importing and Exporting Data") subgraph Lab Skills hadoop/hdfs_setup -.-> lab-271861{{"Hadoop FS Shell appendToFile"}} hadoop/fs_cat -.-> lab-271861{{"Hadoop FS Shell appendToFile"}} hadoop/fs_mkdir -.-> lab-271861{{"Hadoop FS Shell appendToFile"}} hadoop/import_export_data -.-> lab-271861{{"Hadoop FS Shell appendToFile"}} end

Création et ajout de données à un fichier

Dans cette étape, vous allez créer un nouveau fichier sur HDFS, écrire quelques données initiales dans celui-ci, puis ajouter davantage de données au fichier à l'aide de la commande appendToFile.

Basculez sur l'utilisateur hadoop dans le terminal :
```
su - hadoop
```
Créez un nouveau fichier nommé mining_data.txt dans le répertoire /home/hadoop avec un contenu initial :
```
echo "Données initiales pour l'analyse de la prospection" > mining_data.txt
```
Créez un nouveau fichier nommé mining_data.txt dans le répertoire / de HDFS :
```
hdfs dfs -touchz /mining_data.txt
```

Ajoutez davantage de données au fichier mining_data.txt :

hdfs dfs -appendToFile /home/hadoop/mining_data.txt /mining_data.txt

Voici une explication de la commande et de ses composants :

hdfs : Il s'agit de l'outil de ligne de commande pour interagir avec HDFS.
dfs : C'est un sous-command de l'outil hdfs, utilisé spécifiquement pour travailler avec HDFS.
-appendToFile : Il s'agit d'une option de la commande hdfs dfs, indiquant que les données doivent être ajoutées au fichier cible.
/home/hadoop/mining_data.txt : C'est le chemin vers le fichier source qui contient les données à ajouter.
/mining_data.txt : C'est le chemin vers le fichier cible dans HDFS où les données seront ajoutées.

Lorsque la commande hdfs dfs -appendToFile est exécutée, elle lit les données à partir du fichier source spécifié et les ajoute au fichier cible dans HDFS.

Visualisation et mise à jour des données ajoutées

Dans cette étape, vous allez visualiser le contenu du fichier mining_data.txt, ajouter davantage de données à celui-ci, puis vérifier les modifications.

Visualisez le contenu actuel du fichier mining_data.txt :
```
hdfs dfs -cat /mining_data.txt
```

Ajoutez des données supplémentaires au fichier :

echo "Nouvelles données de prospection pour l'analyse" | hdfs dfs -appendToFile - /mining_data.txt

Vérifiez le contenu mis à jour du fichier :
```
hdfs dfs -cat /mining_data.txt
```

Sommaire

Dans ce laboratoire, nous avons exploré l'opération appendToFile dans Hadoop FS Shell pour gérer et mettre à jour efficacement les données dans HDFS. En suivant les étapes fournies, vous avez appris à créer, ajouter et mettre à jour des fichiers sur HDFS à l'aide des commandes FS Shell. Cette expérience pratique sera précieuse dans votre parcours pour maîtriser les opérations HDFS d'Hadoop. Bonne prospection!