Hadoop FS Shell tail

Einführung

Stellen Sie sich ein Szenario in einem alten Königreich vor, in dem ein wilder Drache durch das Beschießen von Dörfern Chaos stiften lässt. Der König sucht eine Lösung, um die Bewegungen des Drachen zu verfolgen und sein zerstörerisches Verhalten zu stoppen. In diesem Lab werden Sie die Hadoop HDFS-Fähigkeit "FS Shell tail" nutzen, um Echtzeitdaten zu analysieren und den Drachen aufzuspüren, um das Königreich zu schützen.

Entdecken Sie den Drachenverlauf

In diesem Schritt verwenden Sie den Befehl "tail" in der Hadoop FS Shell, um Änderungen an einer bestimmten Datei zu überwachen, was als Drachensichtungsdaten simuliert wird.

Öffnen Sie das Terminal und folgen Sie den untenstehenden Schritten, um loszulegen.

1. Wechseln Sie zum Hadoop-Benutzer, um die richtigen Berechtigungen zu erhalten:

   su - hadoop
   

2. Erstellen Sie eine Textdatei namens dragon_sightings.txt, die einige Anfangsdaten enthält.

   echo "A man saw the dragon." > /home/hadoop/dragon_sightings.txt
   

3. Laden Sie die Datei in das Verzeichnis /home/hadoop hoch:

   hdfs dfs -put /home/hadoop/dragon_sightings.txt /home/hadoop/dragon_sightings.txt
   

4. Überprüfen Sie die letzten Zeilen der Datei dragon_sightings.txt, um die neuesten Sichtungen zu sehen.

   hdfs dfs -tail /home/hadoop/dragon_sightings.txt
   

Dauermonitoring

Lassen Sie uns nun ein Skript erstellen, das kontinuierlich die Drachensichtungsdatei auf Änderungen überprüft, indem es eine while-Schleife und den Befehl "tail" verwendet.

1. Erstellen Sie eine Skriptdatei namens monitor_dragon_sightings.sh

   nano /home/hadoop/monitor_dragon_sightings.sh
   

   Fügen Sie den folgenden Inhalt zur Datei hinzu:

   #!/bin/bash
   while :; do
     hdfs dfs -tail /home/hadoop/dragon_sightings.txt
     sleep 10
   done
   

   Speichern Sie die Datei und beenden Sie den Editor.

2. Machen Sie das Skript ausführbar und starten Sie es, um die Datei zu überwachen.

   chmod +x monitor_dragon_sightings.sh
   

   ./monitor_dragon_sightings.sh
   

Zusammenfassung

In diesem Lab haben wir ein Szenario geschaffen, in dem wir die Hadoop FS Shell verwendet haben, um Drachensichtungen in einem alten Königreich zu verfolgen. Indem wir den Befehl "tail" praktiziert haben, haben wir gelernt, wie Echtzeitdatumänderungen überwacht und kontinuierliche Überwachungsskripte eingerichtet werden können. Diese praktische Erfahrung hilft zu verstehen, wie Hadoop für Echtzeitdatenanalyse und Überwachungstasks im Zusammenhang mit der Big Data-Verarbeitung verwendet werden kann. Viel Spaß beim Verfolgen dieser Drachen!