Centro de Comando de Defesa de Recursos

Introdução

Numa galáxia distante, o Império Zylothian lançou uma campanha agressiva para conquistar e assimilar todos os planetas habitados. Como comandante da frota de defesa intergaláctica, sua missão é coordenar a implantação de recursos e gerenciar os nós de defesa em múltiplos sistemas estelares. No entanto, um adversário astuto, o Overlord Zylothian, desenvolveu uma técnica sofisticada para interromper as operações do seu centro de comando, tornando seus esforços defensivos ineficazes.

O Overlord Zylothian desencadeou um ataque implacável de código malicioso, visando os nós Hadoop YARN (Yet Another Resource Negotiator) responsáveis pelo gerenciamento de recursos e agendamento de tarefas dentro do seu centro de comando. Se não for controlado, este ataque pode paralisar sua capacidade de alocar recursos de forma eficiente, deixando sua frota de defesa vulnerável e permitindo que o Império Zylothian ganhe uma vantagem estratégica.

Seu objetivo é fortificar os nós Hadoop YARN e recuperar o controle sobre a alocação de recursos, garantindo que sua frota de defesa permaneça operacional e possa efetivamente combater a ameaça Zylothian. Ao dominar o nó Hadoop YARN Commands, você poderá monitorar, gerenciar e otimizar a distribuição de recursos em toda a sua frota de defesa, superando as tentativas do Overlord Zylothian de interromper suas operações.

Acessando o Hadoop YARN ResourceManager

Nesta etapa, estabeleceremos uma conexão segura com o Hadoop YARN ResourceManager, que serve como a autoridade central para gerenciar os recursos do cluster e agendar aplicações.

1. Inicie o terminal e mude para o usuário hadoop executando o seguinte comando:

su - hadoop

2. Navegue até o diretório de instalação do Hadoop executando:

cd /home/hadoop/hadoop

Substitua /home/hadoop/hadoop pelo caminho real para a sua instalação do Hadoop.

3. Inicie os serviços Hadoop YARN ResourceManager e NodeManager executando os seguintes comandos:

./sbin/start-yarn.sh

Este comando iniciará os daemons YARN ResourceManager e NodeManager.

4. Verifique se os serviços YARN ResourceManager e NodeManager estão em execução executando o seguinte comando:

yarn node --list

Este comando exibirá uma lista dos NodeManagers ativos no cluster. Você deve ver uma saída semelhante à seguinte:

2024-03-24 12:15:41,203 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /0.0.0.0:8032
Total Nodes:1
         Node-Id      Node-State Node-Http-Address Number-of-Running-Containers
iZj6c3h5jra6dj4yhykndeZ:44955         RUNNING iZj6c3h5jra6dj4yhykndeZ:8042                            0

Monitorando o Status dos Nós YARN

Com os serviços Hadoop YARN ResourceManager e NodeManager em execução, você pode agora monitorar o status dos nós YARN para garantir que eles estejam funcionando corretamente e para identificar quaisquer problemas ou vulnerabilidades potenciais.

1. Execute o seguinte comando para obter informações detalhadas sobre os nós YARN:

yarn node -list -showDetails

Este comando exibirá o status de todos os nós YARN no cluster.

Total Nodes:1
         Node-Id      Node-State Node-Http-Address Number-of-Running-Containers
iZj6c3h5jra6dj4yhykndeZ:44955         RUNNING iZj6c3h5jra6dj4yhykndeZ:8042                            0
Detailed Node Information :
 Configured Resources : <memory:8192, vCores:8>
 Allocated Resources : <memory:0, vCores:0>
 Resource Utilization by Node : PMem:2888 MB, VMem:2888 MB, VCores:0.07997334
 Resource Utilization by Containers : PMem:0 MB, VMem:0 MB, VCores:0.0
 Node-Labels :

2. Para visualizar informações mais detalhadas sobre um nó YARN específico, execute o seguinte comando:

yarn node -status <node-id>

Substitua <node-id> pelo ID do nó que você deseja inspecionar, como node.example.com:8041.

3. Analise a saída para identificar quaisquer nós que estejam em um estado não saudável ou que estejam enfrentando problemas. Procure indicadores como nós em um estado não-RUNNING, nós com um alto número de contêineres com falha ou nós com alta utilização de recursos.

Aqui está um exemplo da saída para um nó YARN saudável:

Node Report :
 Node-Id : iZj6c3h5jra6dj4yhykndeZ:44955
 Rack : /default-rack
 Node-State : RUNNING
 Node-Http-Address : iZj6c3h5jra6dj4yhykndeZ:8042
 Last-Health-Update : Sun 24/Mar/24 12:18:18:816CST
 Health-Report :
 Containers : 0
 Memory-Used : 0MB
 Memory-Capacity : 8192MB
 CPU-Used : 0 vcores
 CPU-Capacity : 8 vcores
 Node-Labels :
 Node Attributes :
 Resource Utilization by Node : PMem:2898 MB, VMem:2898 MB, VCores:0.22659113
 Resource Utilization by Containers : PMem:0 MB, VMem:0 MB, VCores:0.0

Gerenciando Recursos dos Nós YARN

Como comandante da frota de defesa intergaláctica, você precisa garantir que os recursos sejam alocados eficientemente entre os nós YARN para suportar suas operações defensivas. Nesta etapa, você aprenderá como gerenciar os recursos disponíveis para os nós YARN.

1. Para visualizar a alocação de recursos atual para um nó YARN, execute o seguinte comando:

yarn node -list -showDetails

A saída exibirá os recursos disponíveis no nó, incluindo CPU (núcleos virtuais) e memória.

Configured Resources : <memory:8192, vCores:8>

2. Se você precisar ajustar a alocação de recursos para um nó YARN, você pode modificar o arquivo de configuração yarn-site.xml localizado no diretório de configuração do Hadoop (/home/hadoop/hadoop/etc/hadoop/).
3. Abra o arquivo yarn-site.xml usando um editor de texto:

vim ~/hadoop/etc/hadoop/yarn-site.xml

4. Localize a seção <configuration> e adicione ou modifique as seguintes propriedades:

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>8</value>
</property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>16384</value>
</property>

Ajuste os elementos <value> para definir os recursos de CPU e memória desejados para os nós YARN e salve as alterações no arquivo yarn-site.xml e saia do editor de texto.

5. Reinicie os serviços YARN ResourceManager e NodeManager para que as alterações entrem em vigor:

./sbin/stop-yarn.sh
./sbin/start-yarn.sh

6. Verifique a alocação de recursos atualizada executando o comando yarn node -list -showDetails novamente.

Configured Resources : <memory:16384, vCores:8>

Resumo

Neste laboratório, você assumiu o papel de um comandante da frota de defesa intergaláctica, encarregado de fortificar os nós Hadoop YARN contra os implacáveis ataques do Zylothian Overlord. Ao dominar o nó Hadoop YARN Commands, você adquiriu habilidades valiosas em acessar e monitorar os serviços YARN ResourceManager e NodeManager, gerenciar recursos de nó e lançar aplicações no cluster YARN.

Ao longo do laboratório, você aprendeu a estabelecer conexões seguras com o Hadoop YARN ResourceManager, monitorar o status dos nós YARN, ajustar a alocação de recursos com base nos requisitos operacionais. A experiência prática e os exemplos práticos forneceram uma compreensão abrangente do nó Hadoop YARN Commands, equipando você com o conhecimento necessário para gerenciar e otimizar efetivamente a distribuição de recursos em toda a sua frota de defesa.

Este laboratório não apenas reforçou suas habilidades técnicas, mas também o desafiou a pensar estrategicamente e a resolver problemas em um cenário dinâmico e envolvente. Ao concluir com sucesso o laboratório, você demonstrou sua capacidade de navegar por desafios complexos e contribuir para a defesa da galáxia contra a ameaça Zylothian.