Apache Kafka pour les débutants présente la transmission d'événements à travers l'historique des commandes d'un commerçant. Vous publierez et lirez de véritables enregistrements Kafka, examinerez clés et partitions et suivrez la progression avant de créer des clients Python enregistrant les événements dans un fichier.
Le cours combine 8 labs guidés et 2 défis. Les six premières activités utilisent le terminal ; les quatre dernières introduisent Python. Les exemples expliquent réussites et échecs contrôlés avant les défis appliquant les acquis à de nouvelles entrées.
Ce que vous apprendrez
Après ce cours, vous pourrez :
- créer des topics, examiner leurs métadonnées et configurer leur rétention ;
- publier avec des clés et inspecter ordre et offsets au sein des partitions ;
- suivre les positions suivantes validées, reprendre la lecture et relire les événements conservés ;
- examiner les affectations des groupes et les changements au départ d'un membre ;
- sérialiser JSON dans un producteur Python et vérifier rappels de livraison et file d'attente ;
- écrire un consommateur à exécution limitée qui valide les événements, vide le tampon du fichier avant validation explicite et expose les erreurs de données et la nouvelle livraison.
À qui s’adresse ce cours
Aux personnes débutant dans les pipelines événementiels qui souhaitent comprendre enregistrements et clients Kafka par de petits exemples observables.
Prérequis : Bases du terminal pour les six premières activités. Les quatre dernières demandent aussi fonctions, boucles, dictionnaires, JSON et scripts Python élémentaires. Kafka, Java, Hadoop, Hive et Spark ne sont pas requis.
Environnement d’apprentissage : LabEx fournit un terminal Linux sur navigateur, un broker Kafka et les dépendances Python installées. Le cours traite du client, pas du déploiement de production ni des garanties exactement une fois de bout en bout.
Questions fréquentes
Faut-il connaître Python, Hadoop, Hive ou Spark ?
Les fonctions de base du terminal suffisent pour les six premières activités. Les quatre dernières demandent des bases en fonctions, boucles, dictionnaires, JSON et exécution de scripts Python. Les autres cours Big Data ne sont pas des prérequis.
Comment Kafka s'articule-t-il avec le traitement par lots de fichiers ?
Kafka stocke les événements publiés par les producteurs et lus par les consommateurs. Le cours suit les événements de commandes dans les topics, les partitions et la progression des consommateurs, puis les enregistre dans un fichier. Il ne construit pas d'application Spark Streaming et ne promet pas de livraison exactement une fois de bout en bout.
Dois-je installer Kafka ou utiliser un service cloud géré ?
Non. Chaque activité fournit dans LabEx un environnement Kafka préparé avec un seul broker et les clients nécessaires. Vous pratiquez dans le navigateur sans provisionner de service Kafka externe.
