Introdução
No vasto e implacável deserto do Saara, um renomado explorador embarca numa ousada expedição para desvendar os segredos de uma civilização antiga. Com o sol escaldante no alto e as areias movediças sob seus pés, ele deve navegar por dunas traiçoeiras e condições adversas para alcançar seu objetivo – um sítio arqueológico escondido que se diz conter artefatos inestimáveis.
Sua missão não é apenas desenterrar essas relíquias antigas, mas também estudar as tecnologias avançadas utilizadas pela sociedade há muito esquecida. Felizmente, o explorador trouxe consigo uma ferramenta poderosa – o Hadoop YARN (Yet Another Resource Negotiator) – uma tecnologia de gerenciamento de cluster que o ajudará a processar e analisar a vasta quantidade de dados que encontrará durante sua busca.
Explore o Hadoop YARN Resource Manager
Nesta etapa, exploraremos o Hadoop YARN Resource Manager, que é responsável por gerenciar os recursos do cluster e agendar aplicações.
Primeiramente, vamos mudar para o usuário hadoop executando o seguinte comando no terminal:
su - hadoop
Em seguida, obteremos informações sobre o YARN Resource Manager executando o seguinte comando:
yarn node --list
Este comando exibirá uma lista dos NodeManagers ativos no cluster Hadoop, juntamente com seus respectivos status, nodeIDs e outras informações relevantes.
Aqui está um exemplo de saída:
2024-03-16 22:35:03,954 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /0.0.0.0:8032
Total Nodes:1
Node-Id Node-State Node-Http-Address Number-of-Running-Containers
iZj6cb368r3kuiwgkci85bZ:39587 RUNNING iZj6cb368r3kuiwgkci85bZ:8042 0
Submeter uma Aplicação YARN
Nesta etapa, aprenderemos como submeter uma aplicação YARN ao cluster. Usaremos um caso simples que calcula o pi.
yarn jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 3 3
A saída conterá o resultado do cálculo.
Job Finished in 19.117 seconds
Estimated value of Pi is 3.55555555555555555556
Resumo
Neste laboratório, exploramos o Hadoop YARN (Yet Another Resource Negotiator) e aprendemos como interagir com o Resource Manager para gerenciar os recursos do cluster e agendar aplicações. Começamos listando os NodeManagers ativos no cluster, o que nos deu uma visão dos recursos disponíveis.
Em seguida, submetemos uma aplicação YARN que calcula o valor de pi com 25 dígitos. A aplicação foi submetida e executada com sucesso, demonstrando a capacidade do YARN de alocar recursos de forma eficiente e executar tarefas distribuídas.
Através deste laboratório, adquiri conhecimento prático dos comandos YARN e de como aproveitar o poder do Hadoop para tarefas de computação distribuída. A combinação de conceitos teóricos e exercícios práticos solidificou minha compreensão desta poderosa tecnologia, preparando-me para cenários do mundo real onde o processamento e a análise eficientes de dados são cruciais.
