Hadoop FS Shell copyToLocal/put

Einführung

Stellen Sie sich einen magischen Wald vor, voller alter Bäume und magischer Kreaturen. In diesem Wald lebt ein dunkler Zauberer, der die Elemente manipulieren kann. Ihre Aufgabe ist es, durch den verzauberten Wald zu navigieren und einen kostbaren Gegenstand zu beschaffen, der von dem dunklen Zauberer bewacht wird. Um dies zu erreichen, müssen Sie die Macht von Hadoops Hadoop HDFS-Fähigkeiten nutzen, insbesondere auf die FS Shell copyToLocal/put-Befehle konzentrieren.

Hadoop FS Shell CopyToLocal

In diesem Schritt verwenden Sie den Hadoop FS Shell-Befehl copyToLocal, um eine Datei von HDFS auf das lokale Dateisystem zu kopieren.

Öffnen Sie das Terminal und folgen Sie den untenstehenden Schritten, um loszulegen.

1. Wechseln Sie zum Hadoop-Benutzer für die richtigen Berechtigungen:

   su - hadoop
   

2. Erstellen Sie eine Beispiel-Datei in HDFS:

   echo "Magic artifact content" | hdfs dfs -put - /home/hadoop/magic_artifact.txt
   

3. Verwenden Sie FS Shell copyToLocal, um die Datei auf das lokale System zu kopieren:

   hdfs dfs -copyToLocal /home/hadoop/magic_artifact.txt /home/hadoop/magic_artifact.txt
   

4. Vergewissern Sie sich über die Dateikopie, indem Sie die Existenz der lokalen Datei überprüfen:

   ls /home/hadoop/magic_artifact.txt
   

Hadoop FS Shell Put

In diesem Schritt verwenden Sie den FS Shell-Befehl put, um eine Datei vom lokalen System auf HDFS zu laden.

1. Erstellen Sie eine lokale Beispiel-Datei:

   echo "Dark sorcerer's spellbook" > /home/hadoop/spellbook.txt
   

2. Verwenden Sie FS Shell put, um die Datei auf HDFS zu laden:

   hdfs dfs -put /home/hadoop/spellbook.txt /home/hadoop/spellbook.txt
   

3. Vergewissern Sie sich über das Hochladen der Datei, indem Sie ihre Existenz in HDFS überprüfen:

   hdfs dfs -ls /home/hadoop/spellbook.txt
   

Zusammenfassung

In diesem Labyrinth haben wir eine magische Szenerie innerhalb eines verzauberten Walds entworfen, um die Benutzer zu ermutigen, die FS Shell-Befehle copyToLocal und put in Hadoop zu lernen. Indem die Benutzer auf eine Quest gehen, um einen kostbaren Gegenstand von einem dunklen Zauberer zurückzuholen, wurden sie durch praktische Schritte geleitet, um Dateien zwischen HDFS und dem lokalen System zu kopieren. Durch diese immersive Erfahrung haben die Benutzer praktische Erfahrungen im Umgang mit Dateien im Hadoop-Ekosystem gewonnen und ihre HDFS-Fähigkeiten geschärft.