Introducción
En el vasto y implacable desierto del Sahara, un renombrado explorador emprende una audaz expedición para descubrir los secretos de una civilización antigua. Con el sol abrasador sobre sus cabezas y las arenas móviles bajo sus pies, deben navegar a través de dunas peligrosas y condiciones adversas para alcanzar su objetivo: un sitio arqueológico escondido que se rumorea contiene artefactos inestimables.
Su misión no solo es desenterrar estos antiguos relicarios, sino también estudiar las tecnologías avanzadas utilizadas por una sociedad olvidada hace mucho tiempo. Por suerte, el explorador ha traído consigo una herramienta poderosa: Hadoop YARN (Yet Another Resource Negotiator), una tecnología de gestión de clústeres que los ayudará a procesar y analizar la gran cantidad de datos que encontrarán durante su búsqueda.
Explore el Administrador de Recursos de Hadoop YARN
En este paso, exploraremos el Administrador de Recursos de Hadoop YARN, que se encarga de administrar los recursos del clúster y programar aplicaciones.
Primero, cambiemos al usuario hadoop ejecutando el siguiente comando en la terminal:
su - hadoop
A continuación, recuperaremos información sobre el Administrador de Recursos de YARN ejecutando el siguiente comando:
yarn node --list
Este comando mostrará una lista de los NodeManager activos en el clúster de Hadoop, junto con sus respectivos estados, IDs de nodo y otras información relevante.
Aquí hay un ejemplo de salida:
2024-03-16 22:35:03,954 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /0.0.0.0:8032
Total Nodes:1
Node-Id Node-State Node-Http-Address Number-of-Running-Containers
iZj6cb368r3kuiwgkci85bZ:39587 RUNNING iZj6cb368r3kuiwgkci85bZ:8042 0
Enviar una aplicación de YARN
En este paso, aprenderemos cómo enviar una aplicación de YARN al clúster. Usaremos un caso simple que calcula el número pi.
yarn jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 3 3
La salida contendrá el resultado del cálculo.
Job Finished in 19.117 seconds
Estimated value of Pi is 3.55555555555555555556
Resumen
En este laboratorio, exploramos Hadoop YARN (Yet Another Resource Negotiator) y aprendimos cómo interactuar con el Administrador de Recursos para administrar los recursos del clúster y programar aplicaciones. Comenzamos listando los NodeManager activos en el clúster, lo que nos dio una idea de los recursos disponibles.
Luego, enviamos una aplicación de YARN que calculaba el valor de pi con 25 dígitos. La aplicación se envió y ejecutó con éxito, demostrando la capacidad de YARN para asignar recursos eficientemente y ejecutar tareas distribuidas.
A través de este laboratorio, adquirí conocimientos prácticos de los comandos de YARN y de cómo aprovechar el poder de Hadoop para tareas de cómputo distribuido. La combinación de conceptos teóricos y ejercicios prácticos consolidó mi comprensión de esta poderosa tecnología, preparándome para escenarios del mundo real donde el procesamiento y el análisis eficientes de datos son cruciales.
