Expurgar no Hadoop FS Shell

Introdução

Bem-vindo ao nosso emocionante laboratório ambientado em uma base interestelar, onde você assume o papel de um comunicador intergaláctico habilidoso. Neste cenário, você é encarregado de gerenciar o Hadoop HDFS usando o comando expunge do FS Shell para manter a integridade dos dados e otimizar a utilização do armazenamento. Sua missão é garantir a limpeza eficiente de arquivos e diretórios desnecessários para liberar espaço de armazenamento e melhorar o desempenho do sistema.

Habilitando e Configurando o Recurso Lixeira do HDFS

Nesta etapa, vamos começar acessando o Hadoop FS Shell e examinando os arquivos e diretórios atuais no Hadoop Distributed File System.

1. Abra o terminal e mude para o usuário hadoop:

   su - hadoop
   

2. Modificando /home/hadoop/hadoop/etc/hadoop/core-site.xml para habilitar o recurso Trash:

   nano /home/hadoop/hadoop/etc/hadoop/core-site.xml
   

   Adicione a seguinte propriedade entre as tags <configuration>:

    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
    <property>
        <name>fs.trash.checkpoint.interval</name>
        <value>1440</value>
    </property>
   

   Salve o arquivo e saia do editor de texto.

3. Reinicie o serviço HDFS:

   Pare o serviço HDFS:

   /home/hadoop/hadoop/sbin/stop-dfs.sh
   

   Inicie o serviço HDFS:

   /home/hadoop/hadoop/sbin/start-dfs.sh
   

4. Crie um arquivo e exclua-o no HDFS:

   Crie um arquivo no HDFS:

   hdfs dfs -touchz /user/hadoop/test.txt
   

   Exclua o arquivo:

   hdfs dfs -rm /user/hadoop/test.txt
   

5. Verifique se o recurso Trash está habilitado:

   hdfs dfs -ls /user/hadoop/.Trash/Current/user/hadoop/
   

   Você deve ver o arquivo que excluiu no diretório Trash.

Expurgar Arquivos Desnecessários

Agora, vamos prosseguir para expurgar arquivos e diretórios desnecessários usando o comando expunge do FS Shell.

1. Expurgue todos os checkpoints da lixeira:

   hdfs dfs -expunge -immediate
   

2. Verifique se os arquivos desnecessários foram expurgados com sucesso:

   hdfs dfs -ls /user/hadoop/.Trash
   

   Não deve haver arquivos ou diretórios listados.

Resumo

Neste laboratório, aprofundamos o poder do comando expunge do Hadoop FS Shell para gerenciar e otimizar o armazenamento de dados no Hadoop Distributed File System. Ao aprender como iniciar o FS Shell, visualizar arquivos atuais e expurgar dados desnecessários, você obteve informações valiosas sobre como manter a integridade dos dados e aprimorar o desempenho do sistema. Praticar essas habilidades irá equipá-lo para gerenciar eficientemente seu ambiente Hadoop e garantir operações tranquilas.