Introdução
Neste laboratório, você aprenderá a dominar as Políticas de Armazenamento do Hadoop, desvendando os segredos escondidos nas vastas areias douradas do Deserto da Arábia. Você embarcará em uma jornada onde um sábio feiticeiro o desafia a aproveitar o poder dessas políticas, permitindo o gerenciamento eficiente do armazenamento de dados no Hadoop. Adquira habilidades valiosas para armazenar e recuperar dados em diferentes camadas (tiers), otimizando tanto o desempenho quanto a relação custo-benefício.
Entendendo as Políticas de Armazenamento no Hadoop
Nesta etapa, você aprenderá sobre o conceito de políticas de armazenamento no Hadoop e como elas podem ser usadas para gerenciar o armazenamento de dados em diferentes camadas de armazenamento (storage tiers).
Altere o usuário para acessar o sistema de arquivos Hadoop usando o comando su - hadoop. Em seguida, liste as políticas de armazenamento disponíveis:
hdfs storagepolicies -listPolicies
A saída deve exibir as políticas de armazenamento padrão disponíveis no seu cluster Hadoop. Aqui está uma saída de exemplo:
Block Storage Policies:
BlockStoragePolicy{PROVIDED:...}
BlockStoragePolicy{COLD:...}
BlockStoragePolicy{WARM:...}
BlockStoragePolicy{HOT:...}
As políticas de armazenamento permitem que você defina diferentes camadas de armazenamento com base em padrões de acesso a dados, requisitos de desempenho e considerações de custo. Por exemplo, a política "HOT" pode ser usada para dados acessados com frequência, enquanto a política "COLD" pode ser usada para dados de arquivamento.
Definir e Obter a Política de Armazenamento do Diretório
Nesta etapa, você aprenderá como definir uma política de armazenamento específica para um diretório no Hadoop.
Primeiro, crie um novo diretório no HDFS:
hdfs dfs -mkdir /example
Em seguida, defina a política de armazenamento específica para o diretório /example como a política "WARM" que você criou na etapa anterior:
hdfs storagepolicies -setStoragePolicy -path /example -policy WARM
Este comando define a política de armazenamento "WARM" como a política específica para o diretório /example e todos os seus subdiretórios e arquivos.
Você pode verificar a política de armazenamento para o diretório usando o comando hdfs storagepolicies:
hdfs storagepolicies -getStoragePolicy -path /example
A saída deve exibir a política "WARM" como a política de armazenamento para o diretório /example.
Definir e Obter a Política de Armazenamento de Arquivos
Nesta etapa, você aprenderá como mover dados existentes no Hadoop para uma política de armazenamento específica.
Primeiro, crie um arquivo de exemplo no HDFS:
hdfs dfs -touchz /example/sample.txt
Em seguida, verifique a política de armazenamento atual para o arquivo:
hdfs storagepolicies -getStoragePolicy -path /example/sample.txt
A saída deve exibir a política de armazenamento "WARM", que é a política padrão para o diretório /example.
Agora, vamos mover o arquivo sample.txt para a política de armazenamento "HOT":
hdfs storagepolicies -setStoragePolicy -path /example/sample.txt -policy HOT
Este comando altera a política de armazenamento para o arquivo sample.txt para a política de armazenamento "HOT".
Você pode verificar a nova política de armazenamento para o arquivo usando o comando hdfs storagepolicies:
hdfs storagepolicies -getStoragePolicy -path /example/sample.txt
A saída agora deve exibir a política "HOT" para o arquivo sample.txt.
Remover Política de Armazenamento de um Arquivo
Nesta etapa, você aprenderá como remover a política de armazenamento para um arquivo específico no Hadoop.
Se você deseja remover a política de armazenamento para o arquivo /example/sample.txt, pode usar o comando hdfs storagepolicies:
hdfs storagepolicies -unsetStoragePolicy -path /example/sample.txt
Este comando remove a política de armazenamento para o arquivo /example/sample.txt, de modo que o arquivo não tenha mais uma política de armazenamento explícita, mas herda a política do diretório em que reside ou adota a política de armazenamento padrão do cluster.
Você pode então usar o comando hdfs para confirmar que a política de armazenamento do arquivo sample.txt foi removida:
hdfs storagepolicies -getStoragePolicy -path /example/sample.txt
A saída agora deve mostrar a política "WARM" para o arquivo sample.txt, ou seja, a política para o diretório em que ele reside.
Resumo
Parabéns! Você dominou com sucesso as Políticas de Armazenamento do Hadoop, permitindo o gerenciamento eficaz do armazenamento de dados. Com suas novas habilidades, você pode otimizar o armazenamento e a recuperação de dados no Hadoop, garantindo eficiência e custo-benefício. Guiado pelo sábio feiticeiro, você desvendou os segredos das políticas de armazenamento, pronto para enfrentar quaisquer desafios de armazenamento de dados que surgirem.
