Hadoop FS Shell copyToLocal/put

Introdução

Imagine uma floresta mística repleta de árvores antigas e criaturas mágicas. Dentro desta floresta vive um feiticeiro sombrio que tem o poder de manipular os elementos. Sua missão é navegar pela floresta encantada e recuperar um artefato precioso guardado pelo feiticeiro sombrio. Para conseguir isso, você deve aproveitar o poder das habilidades do Hadoop HDFS, focando especificamente nos comandos FS Shell copyToLocal/put.

Hadoop FS Shell CopyToLocal

Nesta etapa, você usará o comando Hadoop FS Shell copyToLocal para copiar um arquivo do HDFS para o sistema de arquivos local.

Abra o terminal e siga os passos abaixo para começar.

1. Mude para o usuário Hadoop para obter as permissões corretas:

   su - hadoop
   

2. Crie um arquivo de exemplo no HDFS:

   echo "Magic artifact content" | hdfs dfs -put - /home/hadoop/magic_artifact.txt
   

3. Use o FS Shell copyToLocal para copiar o arquivo para o sistema local:

   hdfs dfs -copyToLocal /home/hadoop/magic_artifact.txt /home/hadoop/magic_artifact.txt
   

4. Verifique a cópia do arquivo verificando a existência do arquivo local:

   ls /home/hadoop/magic_artifact.txt
   

Hadoop FS Shell Put

Nesta etapa, você utilizará o comando FS Shell put para carregar um arquivo do sistema local para o HDFS.

1. Crie um arquivo de exemplo local:

   echo "Dark sorcerer's spellbook" > /home/hadoop/spellbook.txt
   

2. Use o FS Shell put para carregar o arquivo para o HDFS:

   hdfs dfs -put /home/hadoop/spellbook.txt /home/hadoop/spellbook.txt
   

3. Verifique o carregamento do arquivo verificando sua existência no HDFS:

   hdfs dfs -ls /home/hadoop/spellbook.txt
   

Resumo

Neste laboratório, projetamos um cenário mágico dentro de uma floresta encantada para envolver os usuários no aprendizado dos comandos FS Shell copyToLocal e put no Hadoop. Ao embarcar em uma busca para recuperar um artefato precioso de um mago negro, os usuários foram guiados por etapas práticas para copiar arquivos entre o HDFS e o sistema local. Por meio dessa experiência imersiva, os usuários ganharam experiência prática no gerenciamento de arquivos dentro do ecossistema Hadoop e aprimoraram suas habilidades em HDFS.