Hadoop FS Shell cp

Introduction

Bienvenue dans le magnifique carnaval où le magicien extraordinaire est prêt à démontrer les merveilles de Hadoop's HDFS avec la compétence copy. Dans ce scénario enchantant, le magicien vise à montrer comment copier des fichiers à l'aide de la commande Hadoop FS Shell, apportant une touche magique à votre parcours de compétences Hadoop.

Copier des fichiers à l'aide de la commande Hadoop FS Shell

Dans cette étape, nous allons apprendre à copier des fichiers dans Hadoop à l'aide de la commande cp de la FS Shell.

1. Basculer sur l'utilisateur hadoop dans le terminal :

   su - hadoop
   

2. Créer un fichier de test nommé source.txt dans le répertoire /home/hadoop. Exécutez les commandes suivantes :

   echo "This is a test file." > /home/hadoop/source.txt
   

3. Maintenant, copions le fichier local source.txt vers un nouveau fichier de destination nommé destination.txt sur HDFS. Utilisez la commande suivante :

   hdfs dfs -copyFromLocal /home/hadoop/source.txt /destination.txt
   

4. Vérifions que le fichier a été copié avec succès. Vous pouvez lister les fichiers dans / pour confirmer.

   hdfs dfs -ls /
   

Copie récursive de fichiers avec la commande Hadoop FS Shell

Dans cette étape, nous allons améliorer nos compétences en copie de fichiers en effectuant une copie récursive de répertoires à l'aide de la commande Hadoop FS Shell.

1. Créez un répertoire nommé source_dir dans / et un sous-répertoire nommé subdir dans /source_dir/. Exécutez les commandes suivantes :

   hdfs dfs -mkdir /source_dir
   hdfs dfs -mkdir /source_dir/subdir
   

2. Placez un fichier de test nommé file1.txt dans le répertoire subdir. Utilisez la commande ci-dessous :

   echo "Contents of file1" > /home/hadoop/file1.txt
   hdfs dfs -put /home/hadoop/file1.txt /source_dir/subdir/
   

3. Copiez le répertoire source_dir entier vers un nouveau destination nommé destination_dir de manière récursive. Essayez la commande suivante :

   hdfs dfs -cp /source_dir/ /destination_dir
   

Certainement! La commande hdfs dfs -cp /source_dir /destination_dir a les composants suivants :

1. hdfs dfs -cp : Cette partie indique l'utilisation de la commande cp du Hadoop Distributed File System (HDFS), qui est utilisée pour copier des fichiers ou des répertoires.
2. /source_dir/* : Cela représente le chemin du répertoire source. Le joker * correspond à tous les fichiers et sous-répertoires à l'intérieur de ce répertoire.
3. /destination_dir : Ceci est le chemin du répertoire cible où vous voulez copier les fichiers.

En résumé, cette commande copie tous les fichiers et sous-répertoires de /source_dir vers /destination_dir, tout en conservant les attributs originaux des fichiers.

4. Validez la copie récursive en lisant le contenu du répertoire destination_dir.

   hdfs dfs -ls -R /destination_dir
   

Résumé

Dans ce laboratoire, nous sommes plongés dans le monde magique d'Hadoop HDFS, en mettant l'accent sur les commandes hdfs dfs -copyFromLocal et hdfs dfs -copy. En créant des scénarios captivants et en offrant une pratique pratiques, ce laboratoire visait à améliorer votre compréhension des opérations de dossiers dans Hadoop. Rappelez-vous, la pratique fait parfait, et maîtriser ces compétences vous permettra de progresser dans votre parcours Hadoop.