Hadoop FS Shell copyFromLocal/get

Introducción

En una galaxia muy muy lejana, existe una guerra espacial en curso entre diferentes facciones. La galaxia también está bulliciosa de comerciantes espaciales que intentan obtener beneficios en medio del caos. Nuestra historia se centra en uno de estos comerciantes espaciales que necesita transferir archivos de datos valiosos utilizando el sistema de archivos HDFS de Hadoop. La meta del comerciante es copiar archivos con éxito desde su sistema local a Hadoop utilizando el comando copyFromLocal y recuperar archivos de Hadoop a su sistema local utilizando el comando get.

Copiar Archivo a Hadoop

En este paso, el comerciante espacial necesita copiar un archivo llamado data.txt desde su sistema local a Hadoop HDFS.

Abra la terminal y siga los pasos siguientes para comenzar.

1. Cambie al usuario hadoop para obtener los permisos adecuados:

   su - hadoop
   

2. Cree un directorio llamado space_data en Hadoop:

   hdfs dfs -mkdir /space_data
   

3. Copie el archivo local data.txt a Hadoop:

   hdfs dfs -copyFromLocal /home/hadoop/data.txt /space_data/
   

4. Verifique que el archivo se haya copiado con éxito:

   hdfs dfs -ls /space_data
   

Recuperar Archivo de Hadoop

Ahora, el comerciante espacial necesita recuperar el archivo data.txt de Hadoop y guardarlo en su sistema local.

1. Cambie al directorio donde desea guardar el archivo recuperado:

   mkdir /home/hadoop/space_data && cd /home/hadoop/space_data
   

2. Recupere el archivo data.txt de Hadoop al sistema local:

   hdfs dfs -get /space_data/data.txt
   

3. Verifique que el archivo se haya recuperado con éxito:

   ls -l data.txt
   

Resumen

En este laboratorio, simulamos un escenario de comercio espacial en el que un comerciante necesitaba transferir archivos de datos entre su sistema local y Hadoop HDFS. Al practicar los comandos copyFromLocal y get en el Shell de Hadoop FS, los usuarios pueden aprender cómo mover archivos de manera eficiente hacia y desde el sistema de archivos distribuido de Hadoop. Esta experiencia práctica ayuda a comprender las operaciones básicas de gestión de archivos en Hadoop y mejora las habilidades de trabajo en los ecosistemas de big data.