Découvrir des données cachées dans le Shell Hadoop FS

Introduction

Dans ce laboratoire, nous plongerons dans un scénario captivant situé dans un sanatorium abandonné. Vous prendrez le rôle d'un audacieux explorateur qui parcourt les ruines de cet endroit sinistre. Votre objectif est d'utiliser les commandes test du Shell Hadoop FS pour découvrir des données cachées dans le système de fichiers distribué Hadoop (HDFS).

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopHDFSGroup(["Hadoop HDFS"]) hadoop/HadoopHDFSGroup -.-> hadoop/hdfs_setup("HDFS Setup") hadoop/HadoopHDFSGroup -.-> hadoop/fs_ls("FS Shell ls") hadoop/HadoopHDFSGroup -.-> hadoop/fs_test("FS Shell test") subgraph Lab Skills hadoop/hdfs_setup -.-> lab-288972{{"Test du Shell Hadoop FS"}} hadoop/fs_ls -.-> lab-288972{{"Test du Shell Hadoop FS"}} hadoop/fs_test -.-> lab-288972{{"Test du Shell Hadoop FS"}} end

Explorer le sanatorium abandonné

Dans cette étape, vous commencerez votre exploration en exécutant des commandes test du Shell Hadoop FS pour localiser et valider des fichiers spécifiques dans le HDFS.

Utilisez la commande suivante pour vérifier si un fichier existe dans le HDFS :

hadoop fs -test -e /data/secret_file.txt

Expliquez le but de la commande et interprétez la sortie.

Le sens de cette commande est de tester si le chemin spécifié existe dans le système de fichiers distribué Hadoop (HDFS).

Plus précisément, le sens de chaque partie de cette commande est le suivant :

hadoop fs : C'est le préfixe de la commande du système de fichiers Hadoop qui est utilisé pour interagir avec le système de fichiers distribué Hadoop.
-test : C'est une option indiquant qu'une opération de test doit être effectuée.
-e : C'est également une option qui indique de vérifier si le chemin spécifié existe.
/data/secret_file.txt : C'est le chemin à tester, c'est-à-dire /data/secret_file.txt.

Donc, le but de cette commande est de tester si le fichier /data/secret_file.txt existe dans le HDFS.

hadoop fs -test -e /data/secret_file.txt
echo $?

Voyez la sortie de la commande ci-dessus.

Découvrir des indices de données

Dans cette étape, vous poursuivrez votre expédition dans le sanatorium et utiliserez plus de commandes de test du Shell Hadoop FS pour dévoiler d'autres indices de données stockés dans le HDFS.

Validez la propriété de lecture d'un répertoire en utilisant :

hadoop fs -test -r /data/top_secret

Analysez les résultats et expliquez leur signification.

Le sens de cette commande est de tester si le chemin spécifié existe et si le propriétaire a les droits de lecture dans le système de fichiers distribué Hadoop (HDFS).

Plus précisément, le sens de chaque partie de cette commande est le suivant :

hadoop fs : C'est le préfixe de la commande du système de fichiers Hadoop utilisé pour interagir avec le système de fichiers distribué Hadoop.
-test : C'est une option indiquant qu'une opération de test doit être effectuée.
-r : C'est également une option qui indique de vérifier les droits de lecture du chemin spécifié.
/data/top_secret : C'est le chemin à tester, c'est-à-dire /data/top_secret.

Ainsi, le but de cette commande est de tester si le chemin /data/top_secret existe dans le HDFS et si l'utilisateur actuel a les droits de lecture de propriétaire pour ce chemin.

hadoop fs -test -e /data/secret_file.txt
echo $?

Voyez la sortie de la commande ci-dessus.

Sommaire

Dans ce laboratoire, le cadre macabre d'un sanatorium abandonné sert de décor pour maîtriser les commandes test du Shell Hadoop FS. En suivant les étapes décrites, les étudiants peuvent acquérir une expérience pratique de la navigation dans le HDFS et de la validation de la présence, de la propriété et des autorisations des fichiers. Grâce à cette approche immersive, les apprentissants peuvent approfondir leur compréhension des opérations du système de fichiers Hadoop tout en plongeant dans un environnement d'apprentissage captivant axé sur un récit.