Introducción
En una galaxia lejana, el Imperio Zylothian ha lanzado una campaña agresiva para conquistar y asimilar todos los planetas habitados. Como comandante de la flota de defensa interestelar, tu misión es coordinar el despliegue de recursos y gestionar los nodos de defensa en múltiples sistemas estelares. Sin embargo, un astuto adversario, el Señor Supremo Zylothian, ha desarrollado una técnica sofisticada para perturbar las operaciones de tu centro de mando, haciendo ineficaces tus esfuerzos defensivos.
El Señor Supremo Zylothian ha desatado un implacable ataque de código malicioso, dirigido a los nodos de Hadoop YARN (Yet Another Resource Negotiator) responsables de la gestión de recursos y la programación de trabajos dentro de tu centro de mando. Si no se controla, este ataque podría paralizar tu capacidad para asignar recursos eficientemente, dejando vulnerable a tu flota de defensa y permitiendo que el Imperio Zylothian obtenga una ventaja estratégica.
Tu objetivo es fortalecer los nodos de Hadoop YARN y recuperar el control sobre la asignación de recursos, asegurando que tu flota de defensa siga operativa y pueda contrarrestar efectivamente la amenaza Zylothian. Al dominar el nodo de comandos de Hadoop YARN, podrás monitorear, gestionar y optimizar la distribución de recursos a través de tu flota de defensa, superando los intentos del Señor Supremo Zylothian de perturbar tus operaciones.
Accediendo al Administrador de Recursos de Hadoop YARN
En este paso, estableceremos una conexión segura con el Administrador de Recursos de Hadoop YARN, que es la autoridad central para la gestión de los recursos del clúster y la programación de aplicaciones.
- Abra la terminal y cambie al usuario
hadoopejecutando el siguiente comando:
su - hadoop
- Navegue hasta el directorio de instalación de Hadoop ejecutando:
cd /home/hadoop/hadoop
Reemplace /home/hadoop/hadoop con la ruta real de su instalación de Hadoop.
- Inicie los servicios del Administrador de Recursos de Hadoop YARN y del Administrador de Nodos ejecutando los siguientes comandos:
./sbin/start-yarn.sh
Este comando iniciará los demonios del Administrador de Recursos de YARN y del Administrador de Nodos.
- Verifique que los servicios del Administrador de Recursos de YARN y del Administrador de Nodos estén en ejecución ejecutando el siguiente comando:
yarn node --list
Este comando mostrará una lista de los Administradores de Nodos activos en el clúster. Debería ver una salida similar a la siguiente:
2024-03-24 12:15:41,203 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at /0.0.0.0:8032
Total Nodes:1
Node-Id Node-State Node-Http-Address Number-of-Running-Containers
iZj6c3h5jra6dj4yhykndeZ:44955 RUNNING iZj6c3h5jra6dj4yhykndeZ:8042 0
Monitoreando el Estado de los Nodos de YARN
Con los servicios del Administrador de Recursos de Hadoop YARN y del Administrador de Nodos en ejecución, ahora puede monitorear el estado de los nodos de YARN para asegurarse de que estén funcionando correctamente y para identificar cualquier problema o vulnerabilidad potencial.
- Ejecute el siguiente comando para recuperar información detallada sobre los nodos de YARN:
yarn node -list -showDetails
Este comando mostrará el estado de todos los nodos de YARN en el clúster.
Total Nodos:1
Node-Id Node-State Node-Http-Address Number-of-Running-Containers
iZj6c3h5jra6dj4yhykndeZ:44955 RUNNING iZj6c3h5jra6dj4yhykndeZ:8042 0
Información Detallada del Nodo :
Recursos Configurados : <memoria:8192, vCores:8>
Recursos Asignados : <memoria:0, vCores:0>
Uso de Recursos por el Nodo : PMem:2888 MB, VMem:2888 MB, VCores:0.07997334
Uso de Recursos por los Contenedores : PMem:0 MB, VMem:0 MB, VCores:0.0
Etiquetas del Nodo :
- Para ver información más detallada sobre un nodo de YARN específico, ejecute el siguiente comando:
yarn node -status <node-id>
Reemplace <node-id> con el ID del nodo que desea inspeccionar, como node.example.com:8041.
- Analice la salida para identificar cualquier nodo que se encuentre en un estado no saludable o que esté experimentando problemas. Busque indicadores como nodos en un estado no EJECUTANDO, nodos con un gran número de contenedores con errores o nodos con un alto uso de recursos.
A continuación, se muestra un ejemplo de la salida para un nodo de YARN saludable:
Informe del Nodo :
Node-Id : iZj6c3h5jra6dj4yhykndeZ:44955
Rack : /default-rack
Node-State : RUNNING
Node-Http-Address : iZj6c3h5jra6dj4yhykndeZ:8042
Última Actualización de Salud : Sun 24/Mar/24 12:18:18:816CST
Informe de Salud :
Contenedores : 0
Memoria Usada : 0MB
Capacidad de Memoria : 8192MB
CPU Usada : 0 vcores
Capacidad de CPU : 8 vcores
Etiquetas del Nodo :
Atributos del Nodo :
Uso de Recursos por el Nodo : PMem:2898 MB, VMem:2898 MB, VCores:0.22659113
Uso de Recursos por los Contenedores : PMem:0 MB, VMem:0 MB, VCores:0.0
Administrando los Recursos de los Nodos de YARN
Como comandante de la flota de defensa interestelar, debes asegurarte de que los recursos se asignen de manera eficiente a través de los nodos de YARN para apoyar tus operaciones defensivas. En este paso, aprenderás cómo gestionar los recursos disponibles para los nodos de YARN.
- Para ver la asignación actual de recursos para un nodo de YARN, ejecute el siguiente comando:
yarn node -list -showDetails
La salida mostrará los recursos disponibles en el nodo, incluyendo CPU (núcleos virtuales) y memoria.
Recursos Configurados : <memoria:8192, vCores:8>
- Si es necesario ajustar la asignación de recursos para un nodo de YARN, puedes modificar el archivo de configuración
yarn-site.xmlubicado en el directorio de configuración de Hadoop (/home/hadoop/hadoop/etc/hadoop/). - Abra el archivo
yarn-site.xmlusando un editor de texto:
vim ~/hadoop/etc/hadoop/yarn-site.xml
- Encuentre la sección
<configuration>y agregue o modifique las siguientes propiedades:
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>8</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>16384</value>
</property>
Ajuste los elementos <value> para establecer los recursos de CPU y memoria deseados para los nodos de YARN y guarde los cambios en el archivo yarn-site.xml y salga del editor de texto.
- Reinicie los servicios del Administrador de Recursos de YARN y del Administrador de Nodos para que los cambios surtan efecto:
./sbin/stop-yarn.sh
./sbin/start-yarn.sh
- Verifique la asignación de recursos actualizada ejecutando nuevamente el comando
yarn node -list -showDetails.
Recursos Configurados : <memoria:16384, vCores:8>
Resumen
En este laboratorio, asumiste el papel de comandante de una flota de defensa interestelar, con la tarea de fortalecer los nodos de Hadoop YARN contra los ataques implacables del Señor Supremo Zylothian. Al dominar el nodo de comandos de Hadoop YARN, adquiriste habilidades valiosas en el acceso y monitoreo de los servicios del Administrador de Recursos de YARN y del Administrador de Nodos, la gestión de los recursos de los nodos y el lanzamiento de aplicaciones en el clúster de YARN.
A lo largo del laboratorio, aprendiste a establecer conexiones seguras con el Administrador de Recursos de Hadoop YARN, monitorear el estado de los nodos de YARN y ajustar la asignación de recursos según los requisitos operativos. La experiencia práctica y los ejemplos prácticos proporcionaron una comprensión integral del nodo de comandos de Hadoop YARN, equipándote con los conocimientos necesarios para administrar y optimizar efectivamente la distribución de recursos a través de tu flota de defensa.
Este laboratorio no solo reforzó tus habilidades técnicas, sino que también te desafió a pensar estratégicamente y resolver problemas en un escenario dinámico y atractivo. Al completar con éxito el laboratorio, has demostrado tu capacidad para enfrentar desafíos complejos y contribuir a la defensa de la galaxia contra la amenaza Zylothian.
