Hadoop para iniciantes apresenta armazenamento de big data e processamento em lote pelos arquivos diários de uma empresa varejista. Em um ambiente Hadoop real, você entenderá os papéis de HDFS, MapReduce e YARN antes de preparar entradas, executar um cálculo e conferir os resultados.
O curso contém 9 laboratórios guiados e 3 desafios. Os laboratórios explicam conceitos e operações; os desafios combinam habilidades já praticadas com novos dados. Cada atividade prepara seus próprios arquivos e serviços.
O que você aprenderá
Após concluir o curso, você poderá:
- distinguir arquivos locais do HDFS e inspecionar a configuração do Hadoop;
- enviar, organizar, copiar e exportar arquivos preservando as entradas originais;
- inspecionar blocos e réplicas e testar permissões de arquivos e diretórios;
- acompanhar pares de chave e valor por Map, Shuffle e Reduce;
- submeter tarefas YARN, consultar estados e logs, verificar resultados e repetir com saídas separadas;
- diagnosticar entradas ausentes, conflitos de saída, erros de conexão e tarefas com falha.
Para quem é este curso
Para quem está começando em big data ou engenharia de dados e deseja usar um sistema Hadoop preparado antes de estudar administração de clusters.
Pré-requisitos: Uso básico do terminal. Não é necessário conhecer Hadoop, Java ou Python.
Ambiente de aprendizagem: O LabEx fornece um terminal Linux preparado no navegador. O ambiente de um nó ensina operações reais do Hadoop; implantação de clusters de produção fica fora do curso.
Perguntas frequentes
Posso começar sem conhecer big data ou programação?
Sim, desde que saiba usar o terminal em nível básico. O curso apresenta a finalidade do Hadoop e a relação entre armazenamento HDFS, processamento MapReduce e gerenciamento de recursos YARN. Você não precisa escrever Java ou Python.
Qual é o lugar deste curso na trilha de Big Data?
Comece aqui para construir a base de armazenamento e processamento em lote; depois prossiga com Hive, Spark e Kafka. Os desafios vêm após a prática guiada e usam apenas habilidades já apresentadas neste curso.
Preciso instalar o Hadoop ou alugar um cluster?
Não. Cada atividade oferece um ambiente LabEx preparado no navegador. Você usa serviços Hadoop reais em um nó; os exercícios não demonstram tolerância a falhas em produção nem desempenho distribuído.
