Bienvenido al encantador carnaval donde el extraordinario mago está listo para mostrar las maravillas de Hadoop's HDFS con la habilidad copy. En este escenario encantador, el mago pretende demostrar cómo copiar archivos utilizando el comando de la interfaz de shell de Hadoop FS, brindando un toque mágico a tu viaje de habilidades en Hadoop.
En este paso, aprenderemos cómo copiar archivos en Hadoop utilizando el comando cp de la interfaz de shell de FS.
Cambie al usuario hadoop en la terminal:
su - hadoopCree un archivo de prueba llamado source.txt en el directorio /home/hadoop. Ejecute los siguientes comandos:
echo "This is a test file." > /home/hadoop/source.txtAhora, copiemos el archivo local source.txt a un nuevo archivo de destino llamado destination.txt en HDFS. Utilice el siguiente comando:
hdfs dfs -copyFromLocal /home/hadoop/source.txt /destination.txtVerifique que el archivo se haya copiado correctamente. Puede listar los archivos en / para confirmar.
hdfs dfs -ls /En este paso, mejoraremos nuestras habilidades de copia de archivos mediante la copia recursiva de directorios utilizando el comando de la interfaz de shell de Hadoop FS.
Cree un directorio llamado source_dir en / y un subdirectorio llamado subdir en /source_dir/. Ejecute los siguientes comandos:
hdfs dfs -mkdir /source_dir
hdfs dfs -mkdir /source_dir/subdirColoque un archivo de prueba llamado file1.txt dentro del directorio subdir. Utilice el comando siguiente:
echo "Contenidos del archivo 1" > /home/hadoop/file1.txt
hdfs dfs -put /home/hadoop/file1.txt /source_dir/subdir/Copie el directorio source_dir completo a un nuevo destino llamado destination_dir de manera recursiva. Pruebe el siguiente comando:
hdfs dfs -cp /source_dir/ /destination_dirCiertamente. El comando hdfs dfs -cp /source_dir /destination_dir tiene los siguientes componentes:
hdfs dfs -cp: Esta parte indica el uso del comando cp del Hadoop Distributed File System (HDFS), que se utiliza para copiar archivos o directorios./source_dir/*: Esto representa la ruta del directorio fuente. El comodín * coincide con todos los archivos y subdirectorios dentro de este directorio./destination_dir: Esta es la ruta del directorio destino al que desea copiar los archivos.En resumen, este comando copia todos los archivos y subdirectorios de /source_dir a /destination_dir, preservando los atributos originales de los archivos.
Valide la copia recursiva listando el contenido del directorio destination_dir.
hdfs dfs -ls -R /destination_dirEn este laboratorio, sumergimos en el mundo mágico de Hadoop HDFS con énfasis en los comandos hdfs dfs -copyFromLocal y hdfs dfs -copy. Al crear escenarios atractivos y brindar práctica práctica, este laboratorio tuvo como objetivo mejorar su comprensión de las operaciones de copia de archivos en Hadoop. Recuerde, la práctica hace al maestro, y dominar estas habilidades lo habilitará en su viaje de Hadoop.
