Operaciones de Nave Espacial con Registros de YARN

Introducción

En una galaxia lejana, la Estación Espacial Andrómeda sirve como centro de exploración e investigación interestelar. Como piloto habilidoso de nave espacial, tu misión es navegar por la vasta extensión del espacio, recolectando y analizando datos de diversos cuerpos celestes. Sin embargo, tu viaje no está exento de desafíos. El sistema de computación a bordo de la nave, alimentado por Hadoop, te requiere dominar el arte de administrar y monitorear eficientemente sus recursos utilizando el registro de comandos de Yarn.

Tu objetivo es garantizar operaciones fluidas durante tus expediciones mediante una comprensión integral del registro de comandos de Yarn, una herramienta poderosa dentro del ecosistema de Hadoop. Al dominar esta herramienta, podrás monitorear el uso de recursos, rastrear el progreso de los trabajos y resolver cualquier problema que surja, lo que garantizará el éxito de tus misiones.

Conoce los registros de comandos de Yarn

En este paso, aprenderás sobre los conceptos fundamentales del registro de comandos de Yarn y su papel en la gestión de recursos dentro del ecosistema de Hadoop.

Primero, cambia el usuario a hadoop y luego cambia al directorio principal del usuario hadoop:

su - hadoop

Luego, ve la lista de comandos de Yarn disponibles.

yarn --help

El comando yarn --help muestra una lista de subcomandos disponibles y sus descripciones. Entre estos subcomandos, encontrarás varios relacionados con los registros, como yarn logs, yarn top y yarn node.

Aquí hay un ejemplo de la salida que puede ver:

Usage: yarn [--help] [COMMAND]
where COMMAND is one of:
  node           Imprime información sobre un nodo específico
  logs           Obtiene y muestra los registros de un contenedor específico
  top            Muestra información del clúster
...

Para entender el propósito y el uso de cada subcomando, puedes usar la bandera -help junto con el nombre del subcomando. Por ejemplo:

yarn logs -help

Esto proporcionará información detallada sobre el subcomando yarn logs, incluyendo su sintaxis, opciones y ejemplos.

Ver los registros de contenedores

En este paso, aprenderás a recuperar y visualizar los registros de un contenedor específico utilizando el comando yarn logs.

Primero, enviemos un trabajo de ejemplo para generar algunos registros:

Navegue hasta el directorio de ejemplos de Hadoop.

cd /home/hadoop/hadoop/share/hadoop/mapreduce

Ejecute el ejemplo de WordCount.

yarn jar hadoop-mapreduce-examples-3.3.6.jar wordcount /home/hadoop/input /home/hadoop/output

Una vez que el trabajo está en ejecución o se ha completado, puede obtener los registros utilizando el comando yarn logs:

Obtenga el ID de la aplicación a partir de la salida del trabajo.

appId="application_1234567890123_0001"

Visualice los registros de la aplicación especificada.

yarn logs -applicationId $appId

Reemplace application_1234567890123_0001 con el ID real de la aplicación de la salida de su trabajo.

El comando yarn logs mostrará los registros combinados de todos los contenedores asociados con la aplicación especificada. También puede ver los registros de un contenedor específico utilizando la opción -containerId:

containerId="container_1234567890123_0001_01_000001"

yarn logs -applicationId $appId -containerId $containerId

Reemplace container_1234567890123_0001_01_000001 con el ID real del contenedor que desea inspeccionar.

Monitorear los recursos del clúster

El comando yarn top proporciona una vista en tiempo real de la utilización de recursos del clúster, incluyendo información sobre las aplicaciones en ejecución, los administradores de nodos y la asignación de recursos.

yarn top

La salida mostrará un resumen del uso de recursos del clúster, incluyendo los recursos disponibles en total, los recursos asignados y los recursos pendientes. Además, listará las aplicaciones en ejecución, su progreso y los recursos que están consumiendo.

Inspeccionar la información del nodo

El comando yarn node te permite inspeccionar información detallada sobre un administrador de nodos específico o un administrador de recursos dentro del clúster de Hadoop.

Lista la información sobre todos los nodos en el clúster.

yarn node -list

Reemplaza iZj6c7ur7j3az0k9shzn2kZ:38115 con el ID del administrador de nodos.

nodeId="iZj6c7ur7j3az0k9shzn2kZ:38115"

Para ver información sobre un administrador de nodos:

yarn node -status $nodeId

La salida mostrará información como la dirección del administrador de nodos, el estado de salud del nodo, los recursos disponibles y una lista de contenedores en ejecución en el nodo.

Resumen

En este laboratorio, aprendiste a navegar por la amplia gestión de recursos de Hadoop a través del registro de comandos de Yarn. Al dominar estos comandos, adquiriste la capacidad de monitorear el uso de recursos, rastrear el progreso de los trabajos y solucionar problemas dentro del ecosistema de Hadoop. Este conocimiento será invaluable cuando embarques en tus misiones interestelares, asegurando operaciones eficientes y la recopilación exitosa de datos de los cuerpos celestes. El viaje para convertirse en un piloto de nave espacial habilidoso ha dado un paso importante hacia adelante, y ahora estás mejor equipado para afrontar los retos que se presentan en las profundidades del espacio.