Hadoop FS Shell tail

Introducción

Imagina un escenario en un reino antiguo donde un fiero dragón ha estado causando estragos al incendiar pueblos. El rey busca una solución para rastrear los movimientos del dragón y detener su comportamiento destructivo. En este laboratorio, utilizarás la habilidad "FS Shell tail" de Hadoop HDFS para analizar datos en tiempo real y rastrear la ubicación del dragón para proteger el reino.

Echa un vistazo al rastro del dragón

En este paso, utilizarás el comando "tail" en el Shell de FS de Hadoop para monitorear los cambios en un archivo específico, simulando datos de avistamientos del dragón.

Abre la terminal y sigue los pasos siguientes para comenzar.

1. Cambia al usuario de Hadoop para tener los permisos adecuados:

   su - hadoop
   

2. Crea un archivo de texto llamado dragon_sightings.txt que contenga algunos datos iniciales.

   echo "Un hombre vio el dragón." > /home/hadoop/dragon_sightings.txt
   

3. Sube el archivo al directorio /home/hadoop:

   hdfs dfs -put /home/hadoop/dragon_sightings.txt /home/hadoop/dragon_sightings.txt
   

4. Verifica las últimas líneas del archivo dragon_sightings.txt para ver los últimos avistamientos.

   hdfs dfs -tail /home/hadoop/dragon_sightings.txt
   

Monitoreo Continuo

Ahora, vamos a crear un script que monitoree continuamente el archivo de avistamientos del dragón en busca de actualizaciones, utilizando un bucle while y el comando "tail".

1. Crea un archivo de script llamado monitor_dragon_sightings.sh

   nano /home/hadoop/monitor_dragon_sightings.sh
   

   Agrega el siguiente contenido al archivo:

   #!/bin/bash
   while :; do
     hdfs dfs -tail /home/hadoop/dragon_sightings.txt
     sleep 10
   done
   

   Guarda el archivo y sale del editor.

2. Haz que el script sea ejecutable y ejecútalo para comenzar a monitorear el archivo.

   chmod +x monitor_dragon_sightings.sh
   

   ./monitor_dragon_sightings.sh
   

Resumen

En este laboratorio, creamos un escenario en el que utilizamos el Shell de FS de Hadoop para rastrear los avistamientos del dragón en un reino antiguo. Al practicar el comando "tail", aprendimos cómo monitorear los cambios de datos en tiempo real y configurar scripts de monitoreo continuo. Esta experiencia práctica ayuda a comprender cómo se puede utilizar Hadoop para el análisis de datos en tiempo real y las tareas de monitoreo relacionadas con el procesamiento de grandes datos. ¡Que disfrutes rastreando a aquellos dragones!