Naviguer dans le système de fichiers Hadoop avec FS Shell ls

Introduction

Imaginez un ciel nocturne magique rempli d'étoiles scintillantes au-dessus, où un brave explorateur interstellaire entreprend une aventure passionnante. Dans ce scénario, notre objectif est de naviguer dans le Hadoop HDFS en utilisant la commande "FS Shell ls" pour découvrir les trésors cachés de données et d'informations dans l'immense univers numérique.

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopHDFSGroup(["Hadoop HDFS"]) hadoop(("Hadoop")) -.-> hadoop/HadoopHiveGroup(["Hadoop Hive"]) hadoop/HadoopHDFSGroup -.-> hadoop/hdfs_setup("HDFS Setup") hadoop/HadoopHDFSGroup -.-> hadoop/fs_ls("FS Shell ls") hadoop/HadoopHDFSGroup -.-> hadoop/fs_mkdir("FS Shell mkdir") hadoop/HadoopHDFSGroup -.-> hadoop/fs_put("FS Shell copyToLocal/put") hadoop/HadoopHiveGroup -.-> hadoop/hive_setup("Hive Setup") subgraph Lab Skills hadoop/hdfs_setup -.-> lab-271872{{"Hadoop FS Shell ls"}} hadoop/fs_ls -.-> lab-271872{{"Hadoop FS Shell ls"}} hadoop/fs_mkdir -.-> lab-271872{{"Hadoop FS Shell ls"}} hadoop/fs_put -.-> lab-271872{{"Hadoop FS Shell ls"}} hadoop/hive_setup -.-> lab-271872{{"Hadoop FS Shell ls"}} end

Explorer le système de fichiers Hadoop

Dans cette étape, nous plongerons dans le domaine du système de fichiers Hadoop (HDFS) et utiliserons la commande hadoop fs -ls pour lister les dossiers et les fichiers.

Passer à l'utilisateur Hadoop :
```
su - hadoop
```
Lister le contenu du répertoire personnel de l'utilisateur dans HDFS :
```
hadoop fs -ls /
```
Le succès de l'exécution de la commande signifie que l'environnement Hadoop est prêt et que nous pouvons utiliser la commande hadoop.

Parcourir les dossiers

Continuons notre parcours en explorant plus avant les dossiers dans HDFS en utilisant la commande hadoop fs -ls.

Créer un nouveau dossier dans HDFS :
```
hadoop fs -mkdir /lab
```
Lister le contenu du nouveau dossier créé :
```
hadoop fs -ls /
```

Explorer les détails des fichiers

Dans cette étape, plongeons dans les détails de fichiers spécifiques dans HDFS en utilisant la commande hadoop fs -ls avec un chemin de fichier.

Télécharger un fichier d'échantillonnage dans le répertoire lab de HDFS :
```
echo 'Hello, Hadoop!' > sample.txt
hadoop fs -put sample.txt /lab
```
Lister les détails du fichier téléchargé :
```
hadoop fs -ls /lab/sample.txt
```

Sommaire

Dans ce laboratoire, nous avons entrepris un parcours dans le système de fichiers Hadoop en utilisant la commande "FS Shell ls" pour explorer les dossiers, parcourir les chemins et découvrir les détails des fichiers. En suivant les instructions étape par étape et en exploitant le pouvoir de Hadoop, les utilisateurs peuvent approfondir leur compréhension de HDFS et gérer efficacement les données dans l'environnement distribué.