Gerenciamento de DataNode e NameNode do Hadoop

Introdução

Bem-vindo ao nosso laboratório de tecnologia de ponta Tech City Lab! Neste ambiente de realidade virtual, você assumirá o papel de um Designer de Realidade Virtual encarregado de dominar as habilidades de gerenciamento de DataNode e NameNode no Hadoop HDFS. O objetivo deste laboratório é fornecer experiência prática no gerenciamento eficaz desses componentes-chave em um cluster Hadoop.

Determinar o Status do DataNode e NameNode

Nesta etapa, você configurará e iniciará os serviços DataNode e NameNode no ambiente Hadoop.

1. Abra um terminal e use o comando para mudar para o usuário hadoop:

   su - hadoop
   

2. Se os serviços NameNode e DataNode não estiverem em execução, inicie-os usando os seguintes comandos:

   /home/hadoop/hadoop/sbin/start-dfs.sh
   

3. Use o comando jps para verificar se os serviços NameNode e DataNode estão em execução:

   jps
   

   Saída esperada:

   hadoop:~/ $ jps
   2992 ResourceManager
   2406 NameNode
   2807 SecondaryNameNode
   2556 DataNode
   3133 NodeManager
   4462 Jps
   

Gerenciando o Armazenamento do DataNode

Nesta etapa, você inspecionará e gerenciará o espaço de armazenamento do DataNode.

1. Verifique o espaço de armazenamento disponível no DataNode:

   hdfs dfsadmin -report
   

2. Remova um arquivo específico do DataNode:

   hdfs dfs -rm /user/hadoop/testfile.txt
   

   Se você receber uma mensagem de erro: rm: Cannot delete /user/hadoop/testfile.txt. Name node is in safe mode.

   Isso ocorre porque o HDFS acabou de ser iniciado e está em modo de segurança (safe mode). Basta aguardar alguns segundos e tentar novamente.

Monitoramento do NameNode

Nesta etapa, você monitorará o NameNode para garantir a estabilidade e a integridade do cluster Hadoop Distributed File System (HDFS).

1. Verifique o status do cluster HDFS:

   hdfs dfsadmin -report
   

2. Monitore a integridade geral do cluster:

   hdfs fsck /
   

Resumo

Neste laboratório, focamos em exercícios práticos relacionados ao gerenciamento de DataNode e NameNode no Hadoop HDFS. Ao seguir as etapas detalhadas e os verificadores fornecidos, você adquiriu experiência prática na configuração, gerenciamento de armazenamento e monitoramento dos componentes do cluster Hadoop. Divirta-se explorando o mundo do gerenciamento de DataNode e NameNode do Hadoop!