Apache Spark para iniciantes ensina processamento de dados em lote com PySpark. Com pequenos dados de varejo, você transformará CSV e JSON em DataFrames tipados, limpará registros, calculará relatórios e salvará resultados que outra execução pode ler.
O curso inclui 11 laboratórios guiados e 2 desafios. Exemplos completos levam a pequenas mudanças e tarefas independentes com novas entradas. Você inspecionará evidências reais de execução e submeterá uma aplicação reutilizável sem depender de uma sessão interativa.
O que você aprenderá
Após concluir o curso, você poderá:
- criar DataFrames com esquemas explícitos e ler CSV e JSON aninhado;
- filtrar e transformar colunas, converter valores com segurança e remover linhas idênticas;
- agregar valores decimais de vendas e juntar referências de clientes e produtos;
- expressar operações conhecidas com Spark SQL e visualizações locais à sessão;
- gravar Parquet particionado e verificar seus registros lógicos;
- inspecionar planos e erros e submeter e repetir uma aplicação em lote parametrizada.
Para quem é este curso
Para estudantes de Python começando em engenharia de dados ou preparando seu primeiro fluxo em lote com Spark.
Pré-requisitos: Variáveis, coleções, chamadas de funções e execução de scripts Python, além de terminal básico. Spark, pandas, Hadoop, Hive e Java não são necessários.
Ambiente de aprendizagem: O LabEx fornece um terminal Linux preparado no navegador. PySpark real roda em local[2], com duas threads em uma máquina; implantação de clusters distribuídos fica fora do curso.
Perguntas frequentes
Quanto Python preciso saber e devo concluir Hadoop ou Hive antes?
Você deve entender variáveis, coleções, chamadas de funções e execução de scripts Python. Hadoop e Hive oferecem contexto útil, mas não são pré-requisitos. O curso apresenta DataFrames e o Spark SQL necessário.
Aprenderei processamento de fluxos além do processamento em lote?
Este curso aborda o processamento em lote de arquivos CSV e JSON e termina com um pipeline de vendas reutilizável. Spark Streaming e programação com RDD ficam fora do escopo.
Preciso instalar o Spark ou alugar várias máquinas?
Não. O LabEx fornece PySpark e os dados em um ambiente preparado no navegador. Você usa duas threads de execução em uma máquina, aprendendo APIs reais e seu comportamento sem implantar um cluster distribuído.
