Hadoop FS Shell copyFromLocal/get

Introdução

Numa galáxia muito, muito distante, existe uma guerra espacial em curso entre diferentes facções. A galáxia também está repleta de comerciantes espaciais tentando obter lucros em meio ao caos. Nossa história se concentra em um desses comerciantes espaciais que precisa transferir arquivos de dados valiosos usando o sistema de arquivos HDFS do Hadoop. O objetivo do comerciante é copiar com sucesso arquivos de seu sistema local para o Hadoop usando o comando copyFromLocal e recuperar arquivos do Hadoop para seu sistema local usando o comando get.

Copiar Arquivo para o Hadoop

Nesta etapa, o comerciante espacial precisa copiar um arquivo chamado data.txt de seu sistema local para o HDFS do Hadoop.

Abra o terminal e siga os passos abaixo para começar.

1. Mude para o usuário hadoop para obter as permissões corretas:

   su - hadoop
   

2. Crie um diretório chamado space_data no Hadoop:

   hdfs dfs -mkdir /space_data
   

3. Copie o arquivo local data.txt para o Hadoop:

   hdfs dfs -copyFromLocal /home/hadoop/data.txt /space_data/
   

4. Verifique se o arquivo foi copiado com sucesso:

   hdfs dfs -ls /space_data
   

Recuperar Arquivo do Hadoop

Agora, o comerciante espacial precisa recuperar o arquivo data.txt do Hadoop e salvá-lo em seu sistema local.

1. Mude para o diretório onde você deseja salvar o arquivo recuperado:

   mkdir /home/hadoop/space_data && cd /home/hadoop/space_data
   

2. Recupere o arquivo data.txt do Hadoop para o sistema local:

   hdfs dfs -get /space_data/data.txt
   

3. Verifique se o arquivo foi recuperado com sucesso:

   ls -l data.txt
   

Resumo

Neste laboratório, simulamos um cenário de comércio espacial onde um comerciante precisava transferir arquivos de dados entre seu sistema local e o HDFS do Hadoop. Ao praticar os comandos copyFromLocal e get no Hadoop FS Shell, os usuários podem aprender como mover arquivos de e para o sistema de arquivos distribuído do Hadoop de forma eficiente. Essa experiência prática ajuda a entender as operações básicas de gerenciamento de arquivos no Hadoop e aprimora as habilidades de alguém ao trabalhar com ecossistemas de big data.