Analyser les sessions d’achat avec Spark est un projet pratique destiné aux personnes connaissant les bases du traitement par lots avec PySpark. Transformez un journal de visites closes en une analyse réutilisable qui distingue les événements répétés des parcours session/produit ayant une consultation, puis associe les ajouts au panier au bon produit et au bon moment.
Deux labs guidés construisent les décisions relationnelles et une comparaison complète des produits. Un défi indépendant applique les mêmes règles au lot d’une autre boutique. Vous livrerez de vrais jeux de données Parquet et un petit CSV concordant, avec des effectifs expliquant chaque proportion. Les 125 à 155 minutes sont une estimation de l’auteur, lecture et erreurs courantes comprises.
Ce que vous apprendrez
À la fin de ce cours, vous saurez :
- conserver chaque paire session/produit consultée et sa première consultation après élimination des retransmissions d’événements identiques ;
- reconnaître l’existence d’un ajout valide au panier sans emprunter celui d’un autre produit ni multiplier un parcours lorsque plusieurs ajouts correspondent ;
- calculer les dénominateurs de sessions avec consultation, les effectifs de parcours terminés et non terminés, ainsi que les proportions non terminées ;
- conserver les produits sans ajout valide au panier et tous les ex æquo ;
- écrire et lire de vrais résultats Parquet et CSV, reconstruire un instantané dérivé et préserver son entrée brute ;
- expliquer pourquoi les motifs observés dans des sessions closes sont des pistes d’observation, et non des effectifs de personnes uniques ou des preuves causales.
À qui s’adresse ce cours
Ce projet s’adresse aux futurs analystes et ingénieurs de données souhaitant fiabiliser les relations et les mesures de synthèse dans Spark.
Prérequis : Navigation élémentaire dans les fichiers du terminal et compétences d’Apache Spark pour les débutants : schémas explicites, filtrage, déduplication exacte, jointures de DataFrame, regroupement et Parquet. Le projet introduit l’unité d’observation session/produit, le temps de première consultation, les jointures semi/anti et les dénominateurs complets de comparaison.
Environnement d’apprentissage : Chaque lab fournit un Terminal indépendant dans le navigateur, avec Spark, Python, des fichiers locaux par lots et de légers pilotes de sortie préparés. Spark utilise deux threads de travail locaux sur une seule machine. Aucune installation, aucun Hive, Kafka ou cluster distant n’est nécessaire.
Questions fréquentes
Vais-je écrire du Python ?
Oui. Vous compléterez de petites fonctions réutilisables renvoyant des DataFrames Spark. Les labs guidés expliquent les paramètres et les expressions relationnelles avant leur utilisation ; le pilote fourni crée la session et sérialise les fichiers.
S’agit-il d’un entonnoir en temps réel ou d’un rapport de clients uniques ?
Non. Les entrées sont des lots finis de sessions closes, avec des identifiants et des horodatages UTC valides. Une session identifie une visite et peut contenir des consultations de plusieurs produits. Le streaming, le paiement et l’identité entre appareils sont hors du périmètre du cours.
Qu’est-ce qui change dans le défi ?
Les identifiants du lot et les relations entre événements changent. Les outils Spark, la règle temporelle, les formats de sortie et les méthodes de récupération restent identiques. Votre résultat doit conserver la comparaison complète, y compris les produits sans ajout au panier et les ex æquo.
