Operações de Naves Espaciais com Logs YARN

Introdução

Numa galáxia distante, a Estação Espacial Andromeda serve como um centro para exploração e pesquisa intergaláctica. Como um piloto de espaçonave habilidoso, sua missão é navegar pela vasta extensão do espaço, coletando e analisando dados de vários corpos celestes. No entanto, sua jornada não é isenta de desafios. O sistema de computador de bordo da espaçonave, alimentado por Hadoop, exige que você domine a arte de gerenciar e monitorar seus recursos de forma eficiente usando o log de Comandos Yarn (Yarn Commands log).

Seu objetivo é garantir operações tranquilas durante suas expedições, obtendo uma compreensão abrangente do log de Comandos Yarn, uma ferramenta poderosa dentro do ecossistema Hadoop. Ao dominar esta ferramenta, você será capaz de monitorar o uso de recursos, rastrear o progresso dos trabalhos e solucionar quaisquer problemas que possam surgir, garantindo, em última análise, o sucesso de suas missões.

Familiarize-se com os Comandos Yarn

Nesta etapa, você aprenderá sobre os conceitos fundamentais do log de Comandos Yarn e seu papel no gerenciamento de recursos dentro do ecossistema Hadoop.

Primeiro, altere o usuário para hadoop e, em seguida, mude para o diretório home do usuário hadoop:

su - hadoop

Em seguida, visualize a lista de Comandos Yarn disponíveis.

yarn --help

O comando yarn --help exibe uma lista de subcomandos disponíveis e suas descrições. Entre esses subcomandos, você encontrará vários relacionados a logs, como yarn logs, yarn top e yarn node.

Aqui está um exemplo da saída que você pode ver:

Usage: yarn [--help] [COMMAND]
where COMMAND is one of:
  node           Prints information about a specific node
  logs           Fetch and view logs for a specific container
  top            View cluster information
  ...

Para entender o propósito e o uso de cada subcomando, você pode usar a flag -help junto com o nome do subcomando. Por exemplo:

yarn logs -help

Isso fornecerá informações detalhadas sobre o subcomando yarn logs, incluindo sua sintaxe, opções e exemplos.

Visualizando Logs de Container

Nesta etapa, você aprenderá como recuperar e visualizar logs para um contêiner específico usando o comando yarn logs.

Primeiro, vamos submeter um trabalho de exemplo para gerar alguns logs:

Navegue até o diretório de exemplos do Hadoop.

cd /home/hadoop/hadoop/share/hadoop/mapreduce

Execute o exemplo WordCount.

yarn jar hadoop-mapreduce-examples-3.3.6.jar wordcount /home/hadoop/input /home/hadoop/output

Assim que o trabalho estiver em execução ou concluído, você pode buscar os logs usando o comando yarn logs:

Obtenha o ID da aplicação a partir da saída do trabalho.

appId="application_1234567890123_0001"

Visualize os logs para a aplicação especificada.

yarn logs -applicationId $appId

Substitua application_1234567890123_0001 pelo ID real da aplicação a partir da saída do seu trabalho.

O comando yarn logs exibirá os logs combinados de todos os contêineres associados à aplicação especificada. Você também pode visualizar logs para um contêiner específico usando a opção -containerId:

containerId="container_1234567890123_0001_01_000001"

yarn logs -applicationId $appId -containerId $containerId

Substitua container_1234567890123_0001_01_000001 pelo ID real do contêiner que você deseja inspecionar.

Monitoramento de Recursos do Cluster

O comando yarn top fornece uma visão em tempo real da utilização de recursos do cluster, incluindo informações sobre aplicações em execução, gerenciadores de nós (node managers) e alocação de recursos.

yarn top

A saída exibirá um resumo do uso de recursos do cluster, incluindo o total de recursos disponíveis, recursos alocados e recursos pendentes. Além disso, listará as aplicações em execução, seu progresso e os recursos que estão consumindo.

Inspecionando Informações do Nó

O comando yarn node permite inspecionar informações detalhadas sobre um gerenciador de nó (node manager) específico ou gerenciador de recursos (resource manager) dentro do cluster Hadoop.

Liste informações sobre todos os nós no cluster.

yarn node -list

Substitua iZj6c7ur7j3az0k9shzn2kZ:38115 pelo ID do gerenciador de nó.

nodeId="iZj6c7ur7j3az0k9shzn2kZ:38115"

Para visualizar informações sobre um gerenciador de nó:

yarn node -status $nodeId

A saída exibirá informações como o endereço do gerenciador de nó, o status de saúde do nó, recursos disponíveis e uma lista de contêineres em execução no nó.

Resumo

Neste laboratório, você aprendeu a navegar pela vasta extensão do gerenciamento de recursos do Hadoop através dos comandos Yarn. Ao dominar esses comandos, você ganhou a capacidade de monitorar o uso de recursos, acompanhar o progresso dos trabalhos e solucionar problemas dentro do ecossistema Hadoop. Este conhecimento será inestimável ao embarcar em suas missões intergalácticas, garantindo operações eficientes e a coleta bem-sucedida de dados de corpos celestes. A jornada para se tornar um piloto de espaçonave qualificado deu um passo significativo à frente, e você agora está mais bem equipado para lidar com os desafios que estão por vir nas profundezas do espaço.