Anmeldeseiten mit A/B-Tests vergleichen ist ein praktisches Datenanalyseprojekt für Lernende, die einfache Python-Funktionen schreiben und Zeilen mit pandas auswählen können. Eine gemeinnützige Werkstatt hat zwei Anmeldeseiten. Deine Aufgabe ist, die zugewiesenen Besucher fair zu vergleichen und zu berichten, was ein kleines randomisiertes Experiment stützt und was nicht.
Drei geführte Labs bauen den Ablauf auf: sechs Besucherkarten lesen, rohe Ereignisse in ein Siebentageergebnis pro Person umwandeln, zufällige Neuzuweisungen bei festen Gruppengrößen erkunden und eine vollständige exakte Zuweisungsverteilung interpretieren. Eine unabhängige Challenge wendet dieselben Regeln auf ein anderes Experiment mit anderen Identitäten, Gruppengrößen und Ereignisreihenfolgen an. Jede Einheit beginnt mit eigenen vorbereiteten Daten und Dateien.
Was du lernen wirst
Nach diesem Kurs kannst du:
- jeden zugewiesenen Besucher einschließlich Personen ohne Ereignisse erhalten und Datensätze über stabile Identität verknüpfen;
- nur Anmeldungen im UTC-Fenster jeder Person berücksichtigen und jede zugewiesene Person einmal zählen;
- Anmelderaten als B minus A in Prozentpunkten vergleichen;
- bei reproduzierbaren explorativen Neuzuweisungen beide Gruppengrößen erhalten;
- einen begrenzten exakten Permutationstest mit ausdrücklich definiertem zweiseitigem p-Wert und eingeschlossenen Gleichheiten berechnen;
- eine vorab gewählte Schwelle und die beobachtete Richtung anwenden, ohne einen Gewinner zu erzwingen oder nicht eindeutige Evidenz als Gleichheitsbeweis auszugeben;
- die tatsächliche Personentabelle, vollständige Analyse und ein lesbares Häufigkeitsdiagramm mit sichtbarem beobachtetem Vergleich speichern.
Für wen dieser Kurs geeignet ist
Für Python- und Datenanalyse-Lernende, die Analyseeinheit, Nenner und Evidenz hinter einem A/B-Vergleich verstehen möchten.
Voraussetzungen: Grundlegende Terminalnavigation, Python-Funktionen, einführende pandas-Auswahl, einfache NumPy-Arrays und Matplotlib-Grundlagen. Verknüpfungen, UTC-Fenster, Neuzuweisungen mit festen Gruppengrößen und die benötigte p-Wert-Definition werden erklärt. Statistische Inferenz wird nicht vorausgesetzt.
Lernumgebung: Jede Einheit bietet eine unabhängige browserbasierte WebIDE mit vorbereitetem Python, pandas, NumPy, SciPy und Matplotlib. Du arbeitest mit lokalen synthetischen CSV-Daten und Python-Dateien; lokale Installation oder Dateien der vorherigen VM sind nicht nötig.
Häufig gestellte Fragen
Werde ich einen echten A/B-Testdienst bereitstellen?
Nein. Die Datensätze sind eigens erstellte synthetische Lehrdaten für zufällige Besucherzuweisung. Du analysierst ein kleines festes Experiment, verfolgst keine echten Besucher, stellst keine Website bereit und belegst keinen tatsächlichen Geschäftseffekt.
Muss ich vorher p-Werte kennen?
Nein. Besucherkarten und ein manueller Tausch führen zuerst den Personenvergleich ein. Das zweite Lab erkundet 399 zufällige Neuzuweisungen, ohne einen geschätzten p-Wert zu bewerten. Das dritte definiert dann den exakten Test und seine Interpretation schrittweise.
Muss B gewinnen oder das Ergebnis signifikant sein?
Nein. Ein korrektes Ergebnis folgt der vollständigen zugewiesenen Population, dem angegebenen Test und der vorab gewählten Schwelle. Die Evidenz kann beide Richtungen stützen oder nicht eindeutig bleiben. Ein p-Wert ist nicht die Wahrscheinlichkeit fehlender Wirkung, und ein nicht eindeutiges Ergebnis beweist keine Gleichheit.
Wie erweitert die Challenge die geführten Labs?
Du kombinierst dieselben gelehrten Funktionen und dieselbe statistische Konvention selbstständig auf einer anderen Zuweisung. Die Änderungen erfordern eine erneute Prüfung von Identitäten, Fenstern und Nennern, aber keine neue statistische Methode.
Wie viel Zeit sollte ich einplanen?
Die Schätzungen des Autors ergeben insgesamt 215 Minuten für vier Einheiten, einschließlich Lesen und gewöhnlicher Korrekturen. Diese Schätzung wurde nicht durch Tests mit Anfängern gemessen.
