Tutoriais de Big Data
O caminho de aprendizado de Big Data foi projetado para dominar o processamento de dados em larga escala. Nossos tutoriais cobrem conceitos e ferramentas essenciais, adequados tanto para iniciantes quanto para alunos intermediários. Através de laboratórios práticos e exemplos de código do mundo real, você obterá experiência prática em análise, processamento e visualização de dados. Nosso playground interativo permite que você experimente as tecnologias de Big Data em um ambiente livre de riscos.
Outras Árvores de Habilidades
LinuxDevOpsCibersegurançaAWSCybersecurity EngineerDevSecOpsRedes de computadoresCompTIAKali LinuxWiresharkNmapHydraRed Hat Enterprise LinuxTreinamento RHCSATreinamento RHCE in Enterprise LinuxTreinamento LFCSShellDevOps EngineerGitDockerKubernetesTreinamento CKATreinamento CKADTreinamento CKSAnsibleTreinamento RHCE in AnsibleJenkinsCloudflareBanco de DadosMySQLPostgreSQLRedisMongoDBSQLiteCiência de DadosPythonGolangRustJavaCC++Desenvolvimento Web
Submeta e execute novamente uma aplicação Spark em lote
Use spark-submit com master e argumentos explícitos de entrada e saída, inspecione status e logs reais e recupere-se com segurança de entradas ausentes e caminhos de saída existentes.
Big DataShell
Leia eventos JSON em DataFrames do Spark
Leia arquivos estáticos JSON Lines com tipos explícitos, selecione eventos de pedidos e transforme um struct simples de cliente em colunas sem mudar para streaming.
Big Data
Leia CSV no Spark com um esquema explícito
Compare a leitura de CSV apenas como strings e com inferência de tipos com um esquema explícito de sete colunas e aplique os mesmos tipos a um novo recebimento.
Big Data
Direcione eventos Kafka com chaves e partições
Publique eventos de pedidos com chaves, inspecione chaves, partições e offsets reais e observe o direcionamento por pedido sem presumir uma ordem global dos registros.
Big Data
Salve resultados de consultas do Hive como tabelas ORC
Persista um relatório decimal de vendas diárias em ORC, leia-o de volta e compare a sobrescrita repetível com o acréscimo que produz duplicatas em uma tabela descartável.
Big Data
Selecione, filtre e transforme dados de pedidos no Spark
Use expressões de colunas tipadas para selecionar campos, combinar condições de linha, calcular valores decimais de pedidos e comparar resultados de pagos e pendentes.
Big Data
Envie e leia seu primeiro evento Kafka
Entenda o papel do Kafka na entrega de eventos, crie um tópico com uma partição, observe produtor e consumidor em terminais separados e releia eventos de pedidos retidos.
Big DataLinux
Compartilhe o trabalho com grupos de consumidores Kafka
Observe dois consumidores ativos compartilharem partições, um grupo independente ler os mesmos eventos e a recuperação das atribuições após a saída de um membro.
Big DataLinuxShell
Submeta e inspecione um trabalho em lote no YARN
Execute o conhecido WordCount de produtos sobre entradas do HDFS usando execução real no YARN, inspecione o estado e os logs da aplicação e valide e repita sua saída com segurança.
Big DataShellLinux
Leia e corrija permissões básicas do HDFS
Leia proprietário, grupo e modos de permissão do HDFS, compartilhe um conjunto de dados com um grupo e teste o acesso real com identidades comuns sem permitir gravação pública nos arquivos.
Big Data
Acompanhe offsets de consumidores Kafka e releia eventos
Observe os próximos offsets confirmados e o lag, retome um consumidor nomeado com limites e releia registros retidos após redefinir a posição de um grupo inativo.
Big Data
Entenda Map, Shuffle e Reduce
Preveja contagens de produtos, inspecione Map, Shuffle e Reduce com uma pequena ferramenta didática e execute o mesmo algoritmo WordCount usando o JAR de exemplo preparado do Hadoop em modo local.
Big DataLinuxShell
Entenda a execução do Spark e erros comuns
Relacione transformações conhecidas a um plano real de execução e log de eventos, diferencie partições de computação e de diretórios e corrija dois erros comuns de expressões.
Big Data
Entenda seu ambiente Hadoop
Descubra como os componentes do Hadoop se relacionam, inspecione o sistema de arquivos configurado, compare caminhos locais e do HDFS e leia informações atuais dos serviços e nós de armazenamento.
LinuxBig Data
Grave e inspecione dados Parquet particionados no Spark
Armazene pedidos preparados em Parquet particionado por data, reconstrua e consulte seus registros tipados e compare sobrescrita e acréscimo em uma saída descartável.
Big Data
Seu primeiro laboratório de Hadoop
Descubra o que significa big data e qual é o papel do Hadoop. Depois, envie um arquivo de texto de varejo ao HDFS, leia-o de volta e confira seu conteúdo em um ambiente preparado.
Big DataLinuxShell
Sua primeira consulta no Hive
Descubra o papel do Apache Hive em um fluxo de dados, explore uma tabela de varejo preparada e escreva seu primeiro arquivo SQL para selecionar e conferir registros de pedidos pagos.
Big DataShell
Seu primeiro DataFrame com PySpark
Execute um script Spark completo, inspecione um pequeno DataFrame de pedidos e seu esquema e preveja como um registro extra altera uma nova execução.
Big Data
- Anterior
- 1
- 2
- Próximo