Hadoop FS Shell tail

Introdução

Imagine um cenário num reino antigo onde um dragão feroz tem causado estragos, incendiando aldeias. O rei procura uma solução para rastrear os movimentos do dragão e parar seu comportamento destrutivo. Neste laboratório, você utilizará a habilidade Hadoop HDFS "FS Shell tail" para analisar dados em tempo real e rastrear o paradeiro do dragão para proteger o reino.

Verifique o Rastro do Dragão

Nesta etapa, você usará o comando "tail" no Hadoop FS Shell para monitorar as alterações em um arquivo específico, simulando dados de avistamento de dragões.

Abra o terminal e siga os passos abaixo para começar.

1. Mude para o usuário Hadoop para obter as permissões corretas:

   su - hadoop
   

2. Crie um arquivo de texto chamado dragon_sightings.txt contendo alguns dados iniciais.

   echo "A man saw the dragon." > /home/hadoop/dragon_sightings.txt
   

3. Carregue o arquivo para o diretório /home/hadoop:

   hdfs dfs -put /home/hadoop/dragon_sightings.txt /home/hadoop/dragon_sightings.txt
   

4. Verifique as últimas linhas do arquivo dragon_sightings.txt para ver os avistamentos mais recentes.

   hdfs dfs -tail /home/hadoop/dragon_sightings.txt
   

Monitoramento Contínuo

Agora, vamos criar um script que monitora continuamente o arquivo de avistamentos de dragões em busca de atualizações, usando um loop while e o comando "tail".

1. Crie um arquivo de script chamado monitor_dragon_sightings.sh

   nano /home/hadoop/monitor_dragon_sightings.sh
   

   Adicione o seguinte conteúdo ao arquivo:

   #!/bin/bash
   while :; do
     hdfs dfs -tail /home/hadoop/dragon_sightings.txt
     sleep 10
   done
   

   Salve o arquivo e saia do editor.

2. Torne o script executável e execute-o para começar a monitorar o arquivo.

   chmod +x monitor_dragon_sightings.sh
   

   ./monitor_dragon_sightings.sh
   

Resumo

Neste laboratório, criamos um cenário onde usamos o Hadoop FS Shell para rastrear avistamentos de dragões em um reino antigo. Ao praticar o comando "tail", aprendemos como monitorar as mudanças de dados em tempo real e configurar scripts de monitoramento contínuo. Essa experiência prática ajuda a entender como o Hadoop pode ser usado para análise de dados em tempo real e tarefas de monitoramento relacionadas ao processamento de big data. Feliz rastreamento desses dragões!