Gerenciamento de Quotas no Hadoop

Introdução

Neste laboratório, você aprenderá como gerenciar a capacidade de armazenamento limitada de uma caravana de camelos no Deserto da Arábia, incluindo cotas de espaço versus cotas de nome. Você terá a tarefa de planejar e alocar cuidadosamente o espaço de carga para garantir a segurança e a integridade do transporte de cargas preciosas, incluindo especiarias e sedas finas.

Explorar os Limites de Armazenamento Atuais

Nesta etapa, você explorará o uso atual de armazenamento do Hadoop Distributed File System (HDFS) e se familiarizará com os diretórios e arquivos existentes.

1. Mude para o usuário hadoop usando o comando su - hadoop. Em seguida, use o seguinte código para criar arquivos e diretórios:

hdfs dfs -mkdir -p /cargo_space/fine_silks
hdfs dfs -touchz /cargo_space/spices.txt

2. Use o seguinte código para visualizar os arquivos e diretórios criados:

hdfs dfs -ls -R /cargo_space

Este comando listará o conteúdo do diretório /cargo_space.

3. Consulte as informações estatísticas detalhadas do diretório especificado no HDFS e exiba a situação da quota:

hdfs dfs -count -q /cargo_space

Aqui está a explicação do comando acima:

• hdfs: representa a ferramenta de linha de comando para o sistema de arquivos distribuído Hadoop.
• dfs: representa o conjunto de comandos que operam no sistema de arquivos distribuído.
• -count: esta opção é usada para contar o número de arquivos e o número de diretórios no diretório especificado.
• -q: Este parâmetro indica que as informações de quota para o diretório devem ser exibidas. As informações de quota incluem os limites de espaço de armazenamento e contagem de arquivos definidos pelo sistema de arquivos para o diretório.
• /cargo_space: Este é o caminho para o diretório de destino da operação do comando.

Você verá os seguintes resultados:

none             inf            none             inf            2            1                  0 /cargo_space

Os resultados são explicados por sua vez da seguinte forma:

• none: não há limite para a quota de número de arquivos (ou seja, quota de nome).
• inf: o número de arquivos restantes abaixo do limite é infinito.
• none: a quota de espaço em disco não tem limite.
• inf: o espaço restante abaixo do limite é ilimitado.
• 2: O número de arquivos ou diretórios no diretório /cargo_space é 2.
• 1: /cargo_space Os dados armazenados ocupam 1 unidade de armazenamento.
• 0 /cargo_space: O diretório /cargo_space tem um uso adicional de espaço em disco de 0 bytes.

Definir uma Quota de Espaço para um Diretório

Nesta etapa, você aprenderá como definir uma quota de espaço para um diretório no HDFS, o que limitará o uso total de espaço em disco para esse diretório e seus subdiretórios.

1. Defina uma quota de 1 GB (1073741824 bytes) para o diretório /cargo_space executando:

hdfs dfsadmin -setSpaceQuota 1073741824 /cargo_space

Este comando define uma quota de espaço em disco de 1 GB para o diretório /cargo_space e seus subdiretórios.

2. Consulte as informações estatísticas detalhadas do diretório especificado no HDFS e exiba a situação da quota:

hdfs dfs -count -q /cargo_space

Definir uma Quota de Nomes para um Diretório

Além de definir uma quota de espaço em disco, o HDFS também permite que você defina uma quota para o número máximo de arquivos e diretórios dentro de um diretório. Nesta etapa, você aprenderá como definir essa quota de nome.

1. Defina uma quota de 10 arquivos/diretórios para o diretório /cargo_space executando:

hdfs dfsadmin -setQuota 10 /cargo_space

Este comando define uma quota de nome de 10 arquivos e diretórios para o diretório /cargo_space e seus subdiretórios.

2. Para verificar a quota, execute o seguinte comando:

hdfs dfs -count -q /cargo_space

Este comando exibirá o número atual de arquivos e diretórios, bem como o limite da quota para o diretório especificado.

Remover Limites de Quota em Diretórios

Nesta etapa, você aprenderá como remover limites de quota para diretórios no HDFS, o que inclui tanto quotas de espaço em disco quanto quotas de nome definidas anteriormente.

Removendo Quotas de Espaço em Disco

1. Para o diretório /cargo_space, execute o seguinte comando para remover sua quota de espaço em disco:

hdfs dfsadmin -clrSpaceQuota /cargo_space

Este comando remove o limite de quota de espaço em disco para o diretório /cargo_space e seus subdiretórios.

2. Para confirmar que a quota foi removida, consulte as estatísticas detalhadas do diretório especificado e exiba a quota:

hdfs dfs -count -q /cargo_space

Remover quota de nome

1. Para o diretório /cargo_space, execute o seguinte comando para remover suas quotas de contagem de arquivos e diretórios:

hdfs dfsadmin -clrQuota /cargo_space

Este comando remove os limites de quota de arquivos e diretórios para o diretório /cargo_space e seus subdiretórios.

2. Para verificar se a quota foi removida, execute o seguinte comando:

hdfs dfs -count -q /cargo_space

Neste ponto, você pode garantir que o diretório /cargo_space não está mais sujeito aos limites de quota definidos anteriormente.

Resumo

Parabéns! Você concluiu com sucesso o laboratório de Gerenciamento de Quotas do Hadoop, dominando as técnicas básicas para gerenciar recursos de armazenamento no Hadoop Distributed File System (HDFS). Através do cenário Camelot, você aprendeu como explorar o uso atual de armazenamento, implementar quotas de espaço e quotas de nome. Essa experiência prática não apenas aprimora suas habilidades práticas, mas também destaca a importância do gerenciamento eficiente de recursos em sistemas distribuídos como o Hadoop.