Hadoop FS Shell copyFromLocal/get

Einführung

In einem fernen, fernen Galaxien existiert ein laufender Weltraumkrieg zwischen verschiedenen Fraktionen. Die Galaxie ist auch voll von Raumhändlern, die versuchen, in der Chaos Gewinne zu erzielen. Unsere Geschichte konzentriert sich auf einen solchen Raumhändler, der wertvolle Datenfiles mit Hilfe des Hadoop's HDFS Dateisystems übertragen muss. Das Ziel des Händlers ist es, Dateien erfolgreich von ihrem lokalen System auf Hadoop zu kopieren, indem der Befehl copyFromLocal verwendet wird, und Dateien von Hadoop auf ihr lokales System zurückzuholen, indem der Befehl get verwendet wird.

Datei auf Hadoop kopieren

In diesem Schritt muss der Raumhändler eine Datei namens data.txt von ihrem lokalen System auf Hadoop HDFS kopieren.

Öffnen Sie das Terminal und folgen Sie den Schritten unten, um zu beginnen.

1. Wechseln Sie zum Benutzer hadoop für die richtigen Berechtigungen:

   su - hadoop
   

2. Erstellen Sie ein Verzeichnis namens space_data in Hadoop:

   hdfs dfs -mkdir /space_data
   

3. Kopieren Sie die lokale Datei data.txt nach Hadoop:

   hdfs dfs -copyFromLocal /home/hadoop/data.txt /space_data/
   

4. Vergewissern Sie sich, dass die Datei erfolgreich kopiert wurde:

   hdfs dfs -ls /space_data
   

Datei aus Hadoop abrufen

Jetzt muss der Raumhändler die Datei data.txt aus Hadoop abrufen und auf ihr lokales System speichern.

1. Wechseln Sie in das Verzeichnis, in dem Sie die abgerufene Datei speichern möchten:

   mkdir /home/hadoop/space_data && cd /home/hadoop/space_data
   

2. Rufen Sie die Datei data.txt von Hadoop auf das lokale System ab:

   hdfs dfs -get /space_data/data.txt
   

3. Vergewissern Sie sich, dass die Datei erfolgreich abgerufen wurde:

   ls -l data.txt
   

Zusammenfassung

In diesem Lab haben wir ein Raumhandels-Szenario simuliert, in dem ein Händler Datenfiles zwischen seinem lokalen System und Hadoop HDFS übertragen musste. Indem Sie die Befehle copyFromLocal und get in der Hadoop FS Shell üben, können Benutzer lernen, wie man Dateien effizient zu und von Hadoops verteiltem Dateisystem verschiebt. Diese praktische Erfahrung hilft dabei, die grundlegenden Dateimanagement-Operationen in Hadoop zu verstehen und verbessert die Fähigkeiten beim Umgang mit Big-Data-Ekosystemen.