Desafios Práticos de Hadoop

Este curso contém diversos desafios para Hadoop. Cada desafio é um pequeno projeto Hadoop com instruções e soluções detalhadas. Você pode praticar suas habilidades em Hadoop resolvendo esses desafios, aprimorar suas habilidades de resolução de problemas e aprender a escrever código limpo e eficiente.

Ciência de DadosLinux

💡 Este tutorial foi traduzido do inglês com assistência de IA. Para ver o original, você pode mudar para a versão em inglês

Introdução

Pratique operações essenciais de arquivos HDFS em 12 desafios Hadoop focados. Cada atividade apresenta uma pequena tarefa, instruções detalhadas e solução, ajudando você a traduzir o resultado desejado no comando e caminho adequados do sistema de arquivos Hadoop.

O curso permanece próximo ao trabalho diário com dados HDFS: navegar e criar diretórios, ler e transferir arquivos, testar caminhos e alterar metadados de acesso. É um treino compacto, não uma visão ampla de todo o ecossistema Hadoop.

O que você aprenderá

Ao concluir o curso, você saberá:

  • Listar caminhos HDFS e criar diretórios para armazenar dados de forma organizada.
  • Ler conteúdo diretamente do HDFS e testar se um caminho satisfaz uma condição.
  • Copiar e mover arquivos ou diretórios entre locais dentro do HDFS.
  • Enviar arquivos locais ao HDFS e baixar dados HDFS para o sistema local.
  • Anexar novos dados locais ao final de um arquivo existente no HDFS.
  • Alterar grupo e proprietário de arquivos HDFS com os comandos apropriados.
  • Aplicar modos de permissão a caminhos HDFS e distinguir propriedade de permissões.
  • Selecionar operações hadoop fs adequadas e verificar o estado resultante.

Para quem é este curso

O curso é para quem já entende a finalidade do HDFS e deseja prática curta, baseada em cenários, com seu shell de arquivos. Também ajuda iniciantes em Hadoop que já estudaram os comandos e precisam de repetição antes de workflows maiores.

Pré-requisitos: Você deve estar à vontade com terminal Linux, arquivos, diretórios e conceitos básicos de propriedade e permissões Unix. Recomenda-se contato prévio com caminhos HDFS e hadoop fs, pois o curso é de desafios, não uma introdução conceitual completa.

Ambiente de aprendizagem: O curso contém 12 desafios de linha de comando em ambientes Hadoop fornecidos. As tarefas usam apenas operações de arquivos e não exigem cluster externo de nuvem nem conta pessoal de serviço.

Perguntas frequentes

O curso cobre todo o ecossistema Hadoop?

Não. Ele se concentra em comandos do sistema de arquivos HDFS. Instalação de cluster, MapReduce, YARN, Hive, Pig, Spark, tuning e pipelines tolerantes a falhas não fazem parte dos 12 desafios.

Como difere de Laboratórios Práticos de Hadoop?

Esta é uma coleção menor, somente de desafios, sobre 12 operações do shell HDFS. Hadoop Practice Labs é muito mais amplo e inclui prática guiada de administração HDFS, MapReduce, YARN, Hive e outros temas.

Os desafios são totalmente sem orientação?

Não. Cada desafio é descrito como uma pequena tarefa com instruções detalhadas e solução. Você executa a operação, mas pode usar o suporte fornecido quando necessário.

Preciso do meu próprio cluster Hadoop ou conta cloud?

Nenhum cluster externo ou conta cloud é listado. Os desafios rodam nos ambientes fornecidos para que você se concentre nos comandos HDFS.

Professor

labby
Labby
Labby is the LabEx teacher.

Recomendado para Você

no data