Dominando los comandos de contenedores de Hadoop YARN

Introducción

Los residentes de la idílica Bahía del Tesoro Hundido han estado fascinados durante mucho tiempo por la historia de un legendario barco pirata que se hundió cerca de sus costas hace siglos. Según la tradición local, la bodega del barco estaba llena de tesoros inestimables que aún no han sido descubiertos. Un día, un residente curioso llamado Jack encuentra por casualidad un mapa antiguo que promete guiarlo hacia los tesoros hundidos. Animado por la perspectiva de descubrir el tesoro perdido, Jack emprende una emocionante aventura, decidido a desentrañar los misterios del abismo y reclamar la legendaria recompensa.

En este laboratorio, pondrás los zapatos de Jack y aprenderás cómo navegar por el complejo mundo de los comandos de Hadoop YARN mientras buscas el tesoro hundido. Tu misión es dominar el arte de manejar contenedores, un componente crucial de la arquitectura de YARN, que te ayudará en tu búsqueda de los tesoros esquivos.

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopYARNGroup(["Hadoop YARN"]) hadoop/HadoopYARNGroup -.-> hadoop/yarn_app("Yarn Commands application") hadoop/HadoopYARNGroup -.-> hadoop/yarn_container("Yarn Commands container") hadoop/HadoopYARNGroup -.-> hadoop/yarn_log("Yarn Commands log") hadoop/HadoopYARNGroup -.-> hadoop/yarn_node("Yarn Commands node") subgraph Lab Skills hadoop/yarn_app -.-> lab-289010{{"Comandos de contenedores de Hadoop Yarn"}} hadoop/yarn_container -.-> lab-289010{{"Comandos de contenedores de Hadoop Yarn"}} hadoop/yarn_log -.-> lab-289010{{"Comandos de contenedores de Hadoop Yarn"}} hadoop/yarn_node -.-> lab-289010{{"Comandos de contenedores de Hadoop Yarn"}} end

Explorando los comandos de `Container` de YARN

En este paso, te familiarizarás con los comandos fundamentales de container de YARN, que te proporcionarán las herramientas necesarias para investigar la bodega del barco hundido.

Primero, asegúrate de haber cambiado al usuario hadoop en la terminal. Todos los comandos deben ejecutarse dentro del directorio /home/hadoop o sus subdirectorios.

su - hadoop

Necesitas ejecutar el siguiente comando para iniciar el contenedor en otra terminal usando el usuario hadoop.

yarn jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 7 7

Listar todos los contenedores en ejecución

yarn container -list <application_id/application_name>

El comando yarn container -list muestra una lista de todos los contenedores en ejecución actualmente en el clúster de YARN. Esto te proporcionará una panorámica de los contenedores activos, que pueden contener pistas sobre la ubicación del tesoro hundido.

Consejo: Puedes usar yarn application -list para listar todas las aplicaciones.

Obtener los detalles de un contenedor específico

yarn container -status <container_id>

El comando yarn container -status <container_id> recupera información detallada sobre un contenedor específico identificado por su container_id. Al examinar el estado del contenedor, puedes obtener información sobre su asignación de recursos, progreso de ejecución y posibles conexiones con los tesoros perdidos.

Manejar contenedores con comandos de YARN

A medida que te adentres más en tu búsqueda, es posible que necesites tener más control sobre los contenedores para descubrir pistas ocultas o desbloquear nuevos caminos. Los siguientes comandos te permitirán manejar efectivamente los contenedores:

Detener un contenedor en ejecución

yarn container -kill <container_id>

El comando yarn container -kill <container_id> te permite terminar un contenedor en ejecución identificado por su container_id. Esto puede ser útil si sospechas de que un contenedor te está llevando por el camino equivocado o si necesitas liberar recursos para una exploración adicional.

Obtener los registros de un contenedor

yarn logs -containerId <container_id>

El comando yarn logs -containerId <container_id> recupera los archivos de registro asociados a un contenedor específico. Analizar estos registros puede revelar información crucial, como mensajes de error o pistas ocultas, que podrían guiarte más cerca del tesoro hundido.

Manejo avanzado de contenedores

A medida que tu conocimiento de los comandos de contenedores de YARN se profundice, descubrirás técnicas más avanzadas para ayudarte en tu búsqueda del legendario tesoro:

Obtener el informe del contenedor

yarn container -report <container_id>

El comando yarn container -report <container_id> proporciona un informe detallado sobre un contenedor específico, incluyendo su asignación de recursos, estado de ejecución y otros detalles relevantes. Este informe puede ofrecer información valiosa sobre el papel del contenedor en tu búsqueda del tesoro.

Obtener el informe de intentos del contenedor

yarn container -attempts <container_id>

El comando yarn container -attempts <container_id> muestra información sobre los intentos o reintentos anteriores del contenedor. Esto puede ser particularmente útil al solucionar problemas o rastrear la historia del contenedor, que puede contener pistas sobre los tesoros hundidos.

Obtener el informe del nodo del contenedor

yarn container -node <container_id>

El comando yarn container -node <container_id> recupera información sobre el nodo en el que se está ejecutando el contenedor. Comprender las características del nodo y la disponibilidad de recursos puede ayudarte a optimizar el rendimiento de tu contenedor y aumentar tus posibilidades de éxito en la localización del tesoro.

Resumen

En este laboratorio, emprendiste una emocionante aventura para descubrir el legendario tesoro hundido al dominar el arte de manejar contenedores de YARN. A través de una serie de pasos prácticos, aprendiste a listar contenedores en ejecución, recuperar el estado de los contenedores, detener contenedores y analizar sus registros. Además, exploraste técnicas avanzadas como la generación de informes de contenedores, el examen de historias de intentos y la investigación de información de nodos.

Comandos de contenedores de Hadoop Yarn