Hadoop FS Shell tail

Введение

Представьте себе сценARIO в древнем королевстве, где свирепый дракон вызывает хаос, поджигая деревни под огонь. Король ищет решение для отслеживания движений дракона и остановки его разрушительного поведения. В этом лабе вы будете использовать навык Hadoop HDFS "FS Shell tail" для анализа实时 данных и отслеживания местоположения дракона, чтобы защитить королевство.

Проверьте след дракона

В этом шаге вы будете использовать команду "tail" в Hadoop FS Shell для мониторинга изменений в определенном файле, симулируя данные о появлении дракона.

Откройте терминал и следуйте шагам ниже, чтобы начать.

1. Переключитесь на пользователя Hadoop для правильных прав доступа:

   su - hadoop

2. Создайте текстовый файл с именем dragon_sightings.txt, содержащий некоторые начальные данные.

   echo "A man saw the dragon." > /home/hadoop/dragon_sightings.txt

3. Загрузите файл в директорию /home/hadoop:

   hdfs dfs -put /home/hadoop/dragon_sightings.txt /home/hadoop/dragon_sightings.txt

4. Проверьте последние несколько строк файла dragon_sightings.txt, чтобы увидеть последние появления.

   hdfs dfs -tail /home/hadoop/dragon_sightings.txt

Постоянный мониторинг

Теперь создадим сценарий, который будет постоянно мониторить файл с данными о появлениях дракона на предмет любых обновлений с использованием цикла while и команды "tail".

1. Создайте файл сценария с именем monitor_dragon_sightings.sh

   nano /home/hadoop/monitor_dragon_sightings.sh

   Добавьте следующее содержимое в файл:

   #!/bin/bash
   while :; do
     hdfs dfs -tail /home/hadoop/dragon_sightings.txt
     sleep 10
   done

   Сохраните файл и выйдите из редактора.

2. Сделайте сценарий исполняемым и запустите его, чтобы начать мониторинг файла.

   chmod +x monitor_dragon_sightings.sh

   ./monitor_dragon_sightings.sh

Резюме

В этом лабе мы создали сценарий, в котором использовали Hadoop FS Shell для отслеживания появлений дракона в древнем королевстве. Практикуя команду "tail", мы узнали, как отслеживать изменения в实时 данных и настраивать скрипты постоянного мониторинга. Этот практический опыт помогает понять, как Hadoop может быть использован для实时 анализа данных и задач мониторинга, связанных с обработкой больших данных. Удачного поиска драконов!