Configuração do Hadoop HDFS

HadoopBeginner
Pratique Agora

Introdução

Imagine um cenário onde você se encontra no meio de uma ruína desértica, buscando orientação de uma figura mítica conhecida como o Oráculo do Desastre (Disaster Oracle). O Oráculo do Desastre previu um evento cataclísmico que só pode ser evitado configurando corretamente a infraestrutura Hadoop HDFS. Seu objetivo é seguir as instruções do Oráculo para garantir a segurança do reino dos dados.

Inicializando a Configuração do HDFS

Nesta etapa, você começará configurando o Hadoop HDFS para se preparar para o armazenamento e processamento de dados.

Abra o terminal e siga os passos abaixo para começar.

  1. Mude para o usuário Hadoop para obter as permissões corretas:

    su - hadoop
  2. Crie um diretório para armazenar os dados do HDFS:

    hdfs dfs -mkdir /home/hadoop/data

Carregando Dados para o HDFS

Em seguida, você carregará dados de exemplo para o diretório HDFS configurado.

  1. Crie um arquivo local com dados de exemplo:

    echo 'Hello, Hadoop World!' > /tmp/sample.txt
  2. Carregue o arquivo local para o HDFS:

    hdfs dfs -put /tmp/sample.txt /home/hadoop/data
  3. Verifique se o arquivo existe no HDFS:

    hdfs dfs -ls /home/hadoop/data

Gerenciamento de Replicação de Dados

Nesta etapa, você explorará como o HDFS lida com a replicação de dados.

  1. Verifique o status de replicação do arquivo carregado:

    hdfs fsck /home/hadoop/data/sample.txt -files -blocks -locations
  2. Altere o fator de replicação do arquivo para 2:

    hdfs dfs -setrep -R 2 /home/hadoop/data/sample.txt

Resumo

Neste laboratório, projetamos um cenário imersivo onde os participantes interagem com o Oráculo do Desastre em uma ruína no deserto para aprender e praticar a configuração do Hadoop HDFS. Ao seguir as etapas descritas no laboratório, os usuários obtêm experiência prática na configuração do HDFS, carregamento de dados e gerenciamento de replicação de dados. Este laboratório visa fornecer uma introdução abrangente à configuração do Hadoop HDFS, garantindo que os usuários tenham uma compreensão prática dos principais conceitos e operações envolvidas.