Maîtriser le système de fichiers Hadoop : Découvrir le pouvoir de la copie HDFS

Introduction

Bienvenue dans le magnifique carnaval où le magicien extraordinaire est prêt à démontrer les merveilles de Hadoop's HDFS avec la compétence copy. Dans ce scénario enchantant, le magicien vise à montrer comment copier des fichiers à l'aide de la commande Hadoop FS Shell, apportant une touche magique à votre parcours de compétences Hadoop.

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopHDFSGroup(["Hadoop HDFS"]) hadoop/HadoopHDFSGroup -.-> hadoop/hdfs_setup("HDFS Setup") hadoop/HadoopHDFSGroup -.-> hadoop/fs_ls("FS Shell ls") hadoop/HadoopHDFSGroup -.-> hadoop/fs_mkdir("FS Shell mkdir") hadoop/HadoopHDFSGroup -.-> hadoop/fs_cp("FS Shell cp") subgraph Lab Skills hadoop/hdfs_setup -.-> lab-271866{{"Hadoop FS Shell cp"}} hadoop/fs_ls -.-> lab-271866{{"Hadoop FS Shell cp"}} hadoop/fs_mkdir -.-> lab-271866{{"Hadoop FS Shell cp"}} hadoop/fs_cp -.-> lab-271866{{"Hadoop FS Shell cp"}} end

Copier des fichiers à l'aide de la commande Hadoop FS Shell

Dans cette étape, nous allons apprendre à copier des fichiers dans Hadoop à l'aide de la commande cp de la FS Shell.

Basculer sur l'utilisateur hadoop dans le terminal :
```
su - hadoop
```
Créer un fichier de test nommé source.txt dans le répertoire /home/hadoop. Exécutez les commandes suivantes :
```
echo "This is a test file." > /home/hadoop/source.txt
```
Maintenant, copions le fichier local source.txt vers un nouveau fichier de destination nommé destination.txt sur HDFS. Utilisez la commande suivante :
```
hdfs dfs -copyFromLocal /home/hadoop/source.txt /destination.txt
```
Vérifions que le fichier a été copié avec succès. Vous pouvez lister les fichiers dans / pour confirmer.
```
hdfs dfs -ls /
```

Copie récursive de fichiers avec la commande Hadoop FS Shell

Dans cette étape, nous allons améliorer nos compétences en copie de fichiers en effectuant une copie récursive de répertoires à l'aide de la commande Hadoop FS Shell.

Créez un répertoire nommé source_dir dans / et un sous-répertoire nommé subdir dans /source_dir/. Exécutez les commandes suivantes :
```
hdfs dfs -mkdir /source_dir
hdfs dfs -mkdir /source_dir/subdir
```

Placez un fichier de test nommé file1.txt dans le répertoire subdir. Utilisez la commande ci-dessous :

echo "Contents of file1" > /home/hadoop/file1.txt
hdfs dfs -put /home/hadoop/file1.txt /source_dir/subdir/

Copiez le répertoire source_dir entier vers un nouveau destination nommé destination_dir de manière récursive. Essayez la commande suivante :
```
hdfs dfs -cp /source_dir/ /destination_dir
```

Certainement! La commande hdfs dfs -cp /source_dir /destination_dir a les composants suivants :

hdfs dfs -cp : Cette partie indique l'utilisation de la commande cp du Hadoop Distributed File System (HDFS), qui est utilisée pour copier des fichiers ou des répertoires.
/source_dir/* : Cela représente le chemin du répertoire source. Le joker * correspond à tous les fichiers et sous-répertoires à l'intérieur de ce répertoire.
/destination_dir : Ceci est le chemin du répertoire cible où vous voulez copier les fichiers.

En résumé, cette commande copie tous les fichiers et sous-répertoires de /source_dir vers /destination_dir, tout en conservant les attributs originaux des fichiers.

Validez la copie récursive en lisant le contenu du répertoire destination_dir.
```
hdfs dfs -ls -R /destination_dir
```

Résumé

Dans ce laboratoire, nous sommes plongés dans le monde magique d'Hadoop HDFS, en mettant l'accent sur les commandes hdfs dfs -copyFromLocal et hdfs dfs -copy. En créant des scénarios captivants et en offrant une pratique pratiques, ce laboratoire visait à améliorer votre compréhension des opérations de dossiers dans Hadoop. Rappelez-vous, la pratique fait parfait, et maîtriser ces compétences vous permettra de progresser dans votre parcours Hadoop.