Comparer des pages d’inscription avec des tests A/B est un projet pratique d’analyse de données destiné aux personnes sachant écrire des fonctions Python simples et sélectionner des lignes avec pandas. Un atelier associatif possède deux versions de sa page d’inscription. Votre tâche consiste à comparer équitablement leurs visiteurs affectés, puis à expliquer ce qu’un petit essai randomisé étaye ou non.
Trois laboratoires guidés construisent la démarche : commencer par six fiches, transformer les événements en un résultat sur sept jours par personne, explorer des réaffectations aléatoires à effectifs fixes et interpréter une distribution exacte complète. Un défi indépendant applique les mêmes règles à une autre expérience avec des identités, effectifs et ordres d’événements différents. Chaque unité dispose de ses propres données et fichiers préparés.
Ce que vous apprendrez
À l’issue du cours, vous pourrez :
- conserver chaque visiteur affecté, même sans événements, et associer les enregistrements par identité stable ;
- retenir uniquement les inscriptions dans la fenêtre UTC de chaque personne et compter chaque personne affectée une fois ;
- comparer les taux par B moins A en points de pourcentage ;
- conserver les deux effectifs en générant des réaffectations exploratoires reproductibles ;
- calculer un test de permutation exact borné avec une valeur p bilatérale inclusive explicitement définie ;
- appliquer le seuil présélectionné et la direction observée sans imposer de vainqueur ni prétendre qu’un résultat non concluant prouve l’égalité ;
- enregistrer la vraie table individuelle, l’analyse complète et un graphique lisible de comptages avec comparaison observée visible.
À qui s’adresse ce cours
Aux personnes apprenant Python et l’analyse de données qui veulent comprendre l’unité d’analyse, les dénominateurs et les éléments de preuve d’une comparaison A/B.
Prérequis : Navigation élémentaire dans un terminal, fonctions Python, sélection introductive avec pandas, tableaux NumPy simples et bases de Matplotlib. Les jointures, fenêtres UTC, réaffectations à effectifs fixes et la définition requise de la valeur p sont expliquées. Aucune connaissance préalable d’inférence statistique n’est nécessaire.
Environnement : Chaque unité fournit un WebIDE indépendant dans le navigateur avec Python, pandas, NumPy, SciPy et Matplotlib préparés. Vous travaillez sur des CSV synthétiques et des fichiers Python locaux, sans installation locale ni fichiers de la VM précédente.
Questions fréquentes
Vais-je déployer un véritable service de tests A/B ?
Non. Les enregistrements sont des données didactiques synthétiques originales représentant une affectation aléatoire. Vous analysez une petite expérience fixe, sans suivre de vrais visiteurs, déployer de site ni établir d’effet commercial réel.
Faut-il connaître les valeurs p avant de commencer ?
Non. Les fiches et un échange manuel établissent d’abord la comparaison individuelle. Le deuxième laboratoire explore 399 réaffectations aléatoires sans évaluer de valeur p échantillonnée. Le troisième définit ensuite le test exact et son interprétation pas à pas.
B doit-elle gagner ou le résultat être significatif ?
Non. Un résultat correct respecte toute la population affectée, le test déclaré et le seuil présélectionné. Les éléments peuvent soutenir l’une ou l’autre direction ou rester insuffisants. Une valeur p n’est pas la probabilité d’absence d’effet, et un résultat non concluant ne prouve pas l’égalité.
Comment le défi prolonge-t-il les laboratoires guidés ?
Vous combinez indépendamment les mêmes fonctions et convention statistique sur une autre affectation. Les changements exigent de revérifier identités, fenêtres et dénominateurs, sans introduire de nouvelle méthode statistique.
Combien de temps prévoir ?
Les estimations de l’auteur totalisent 215 minutes pour les quatre unités, lecture et corrections ordinaires comprises. Cette durée n’a pas été mesurée lors d’essais avec des débutants.
