Apache Kafka para iniciantes apresenta a entrega de eventos pelo histórico de pedidos de uma empresa. Você publicará e lerá registros Kafka reais, inspecionará chaves e partições e acompanhará o progresso antes de criar clientes Python que salvam eventos em arquivos.
O curso combina 8 laboratórios guiados e 2 desafios. As seis primeiras atividades usam o terminal; as quatro últimas introduzem Python. Os exemplos explicam sucesso e falhas controladas antes dos desafios com operações conhecidas e novas entradas.
O que você aprenderá
Após concluir o curso, você poderá:
- criar tópicos, inspecionar metadados e configurar retenção;
- publicar registros com chaves e conferir ordem e offsets dentro das partições;
- acompanhar próximas posições confirmadas, retomar leituras e reler eventos retidos;
- inspecionar atribuições de grupos e mudanças quando um membro sai;
- serializar JSON em um produtor Python e verificar callbacks de entrega e trabalho na fila;
- escrever um consumidor com limites que valide eventos, execute flush antes de confirmar e exponha registros inválidos e entrega repetida.
Para quem é este curso
Para quem está começando em pipelines de eventos e quer entender registros e clientes Kafka por exemplos pequenos e observáveis.
Pré-requisitos: Terminal básico para as seis primeiras atividades. As quatro últimas também exigem funções, laços, dicionários, JSON e scripts Python básicos. Kafka, Java, Hadoop, Hive e Spark não são necessários.
Ambiente de aprendizagem: O LabEx fornece terminal Linux no navegador, um broker Kafka e dependências Python instaladas. O curso aborda clientes, não implantação de produção nem garantias exatamente uma vez de ponta a ponta.
Perguntas frequentes
Preciso de Python ou experiência com Hadoop, Hive ou Spark?
O uso básico do terminal basta para as primeiras seis atividades. As quatro últimas exigem noções de funções, laços, dicionários, JSON e execução de scripts Python. Os outros cursos de Big Data não são pré-requisitos.
Como o Kafka se relaciona com o processamento em lote de arquivos?
O Kafka armazena registros de eventos publicados por produtores e lidos por consumidores. O curso acompanha eventos de pedidos por tópicos, partições e progresso do consumidor, depois os salva em um arquivo. Ele não constrói uma aplicação Spark Streaming nem promete entrega exatamente uma vez de ponta a ponta.
Preciso instalar o Kafka ou usar um serviço de nuvem gerenciado?
Não. Cada atividade oferece no LabEx um ambiente Kafka preparado com um broker e os clientes necessários. Você pratica no navegador sem provisionar um serviço Kafka externo.
