Hadoop FS Shell du

Introdução

Imagine um cenário onde você está em um posto comercial espacial como um coletor de recursos espaciais. Seu objetivo é gerenciar e analisar eficientemente os dados armazenados no Hadoop HDFS usando o comando du no Hadoop FS Shell. Ao entender como usar du, você será capaz de recuperar informações sobre o uso de disco de arquivos e diretórios em seu HDFS.

Recuperar Informações de Uso de Disco

Nesta etapa, você aprenderá como usar o comando du para exibir informações de uso de disco para arquivos e diretórios no Hadoop HDFS.

Abra o terminal e siga os passos abaixo para começar.

1. Mude para o usuário Hadoop:

   su - hadoop
   

2. No seu diretório home do HDFS, crie um diretório de exemplo e um arquivo:

   hdfs dfs -mkdir /user/hadoop/sample_dir
   

   echo "sample_file" | hdfs dfs -appendToFile - /user/hadoop/sample_dir/sample_file.txt
   

3. Verifique o uso de disco do diretório sample_dir e insira os resultados em um arquivo de texto:

   hdfs dfs -du -v /user/hadoop/sample_dir > /home/hadoop/du_result.txt
   

4. A saída exibirá o uso de disco do diretório sample_dir em um formato legível por humanos.

   cat /home/hadoop/du_result.txt
   

   Saída:

   SIZE DISK_SPACE_CONSUMED_WITH_ALL_REPLICAS FULL_PATH_NAME
   12 12 /user/hadoop/sample_dir/sample_file.txt
   

Analisar Uso de Disco Recursivamente

Nesta etapa, você expandirá seu conhecimento sobre du para analisar o uso de disco recursivamente para diretórios no Hadoop HDFS.

1. Crie subdiretórios e arquivos dentro do diretório sample_dir:

   hdfs dfs -mkdir /user/hadoop/sample_dir/sub_dir
   

   echo "sub_file" | hdfs dfs -appendToFile - /user/hadoop/sample_dir/sub_dir/sub_file.txt
   

2. Verifique o uso de disco do diretório sample_dir, incluindo seus subdiretórios:

   hdfs dfs -du -s -v /user/hadoop/sample_dir > /home/hadoop/du_result2.txt
   

3. A saída exibirá o uso total de disco do diretório sample_dir, incluindo seus subdiretórios.

   cat /home/hadoop/du_result2.txt
   

   Saída:

   SIZE DISK_SPACE_CONSUMED_WITH_ALL_REPLICAS FULL_PATH_NAME
   21 21 /user/hadoop/sample_dir
   

Resumo

Neste laboratório, focamos na utilização do comando du no Hadoop FS Shell para recuperar informações de uso de disco para arquivos e diretórios no Hadoop HDFS. Ao dominar este comando, você pode gerenciar e analisar eficientemente o consumo de armazenamento dentro do seu cluster Hadoop. Este laboratório teve como objetivo fornecer experiência prática e conhecimento para iniciantes que buscam aprimorar suas habilidades em gerenciamento de Hadoop HDFS.