Hadoop FS Shell tail

Introduction

Imaginez un scénario dans un royaume antique où un féroce dragon a causé des ravages en incendiant les villages. Le roi cherche une solution pour suivre les mouvements du dragon et arrêter son comportement destructeur. Dans ce laboratoire, vous utiliserez la compétence Hadoop HDFS "FS Shell tail" pour analyser les données en temps réel et suivre les déplacements du dragon pour protéger le royaume.

Vérifiez la trace du dragon

Dans cette étape, vous utiliserez la commande "tail" dans le Shell FS Hadoop pour surveiller les modifications apportées à un fichier spécifique, en simulant des données de repérage du dragon.

Ouvrez le terminal et suivez les étapes ci-dessous pour commencer.

1. Basculez sur l'utilisateur Hadoop pour les permissions appropriées :

   su - hadoop
   

2. Créez un fichier texte appelé dragon_sightings.txt contenant quelques données initiales.

   echo "Un homme a vu le dragon." > /home/hadoop/dragon_sightings.txt
   

3. Téléchargez le fichier dans le répertoire /home/hadoop :

   hdfs dfs -put /home/hadoop/dragon_sightings.txt /home/hadoop/dragon_sightings.txt
   

4. Vérifiez les dernières lignes du fichier dragon_sightings.txt pour voir les derniers repérages.

   hdfs dfs -tail /home/hadoop/dragon_sightings.txt
   

Surveillance continue

Maintenant, créons un script qui surveille en continu le fichier de repérages du dragon pour toute mise à jour en utilisant une boucle while et la commande "tail".

1. Créez un fichier de script nommé monitor_dragon_sightings.sh

   nano /home/hadoop/monitor_dragon_sightings.sh
   

   Ajoutez le contenu suivant au fichier :

   #!/bin/bash
   while :; do
     hdfs dfs -tail /home/hadoop/dragon_sightings.txt
     sleep 10
   done
   

   Enregistrez le fichier et quittez l'éditeur.

2. Rendez le script exécutable et exécutez-le pour commencer à surveiller le fichier.

   chmod +x monitor_dragon_sightings.sh
   

   ./monitor_dragon_sightings.sh
   

Résumé

Dans ce laboratoire, nous avons créé un scénario dans lequel nous avons utilisé le Shell FS Hadoop pour suivre les repérages du dragon dans un royaume antique. En pratiquant la commande "tail", nous avons appris à surveiller les modifications des données en temps réel et à configurer des scripts de surveillance continue. Cette expérience pratique aide à comprendre comment Hadoop peut être utilisé pour l'analyse de données en temps réel et les tâches de surveillance liées au traitement des grands volumes de données. Bonne chasse aux dragons!