Einkaufssitzungen mit Spark analysieren ist ein Praxisprojekt für Lernende mit Grundkenntnissen der PySpark-Stapelverarbeitung. Verwandle ein Protokoll abgeschlossener Shopbesuche in eine wiederverwendbare Analyse. Sie unterscheidet wiederholte Ereignisse von betrachteten Sitzungs-/Produktverläufen und ordnet Warenkorbereignisse dem richtigen Produkt und Zeitpunkt zu.
Zwei angeleitete Labs erarbeiten die Beziehungsentscheidungen und einen vollständigen Produktvergleich. Eine eigenständige Challenge überträgt dieselben Regeln auf einen anderen Shop-Datenstapel. Du lieferst echte Parquet-Datensätze und eine passende kleine CSV-Datei mit Zählwerten, die jeden Anteil erklären. Die 125–155 Minuten sind eine Schätzung des Autors einschließlich Lesen und gewöhnlicher Fehler.
Was du lernen wirst
Nach diesem Kurs kannst du:
- nach dem Entfernen identischer Ereigniswiederholungen jedes betrachtete Sitzungs-/Produktpaar mit seinem frühesten Aufruf erhalten;
- das Vorhandensein eines gültigen Warenkorbereignisses erkennen, ohne das Ereignis eines anderen Produkts zu übernehmen oder einen Verlauf bei mehreren passenden Ereignissen mehrfach zu zählen;
- die Anzahl betrachtender Sitzungen als Nenner sowie abgeschlossene und nicht abgeschlossene Verläufe und deren Anteile berechnen;
- Produkte ohne gültiges Warenkorbereignis und alle Gleichstände erhalten;
- echte Parquet- und CSV-Ergebnisse schreiben und lesen, einen abgeleiteten Datenstand erneut aufbauen und seine Rohdaten bewahren;
- erklären, warum Muster abgeschlossener Sitzungen Beobachtungshinweise sind und weder eindeutige Personen zählen noch Ursachen beweisen.
Für wen dieser Kurs geeignet ist
Dieses Projekt richtet sich an angehende Datenanalysten und Data Engineers, die Beziehungen und zusammengefasste Kennzahlen in Spark verlässlich gestalten möchten.
Voraussetzungen: Grundlegende Dateinavigation im Terminal und Kenntnisse aus Apache Spark für Anfänger: explizite Schemas, Filter, Entfernung exakter Duplikate, DataFrame-Joins, Gruppierung und Parquet. Das Projekt führt die Beobachtungseinheit Sitzung/Produkt, den frühesten Aufruf, Semi-/Anti-Joins und vollständige Vergleichsnenner ein.
Lernumgebung: Jedes Lab stellt ein unabhängiges Terminal im Browser mit Spark, Python, lokalen Stapeldateien und vorbereiteten schlanken Ausgabetreibern bereit. Spark nutzt zwei lokale Arbeitsthreads auf einer Maschine. Du brauchst keine Installation, Hive, Kafka oder einen entfernten Cluster.
Häufig gestellte Fragen
Schreibe ich Python?
Ja. Du vervollständigst kleine wiederverwendbare Funktionen, die Spark-DataFrames zurückgeben. Die angeleiteten Labs erklären Parameter und Beziehungsausdrücke vor der Anwendung. Der bereitgestellte Treiber erstellt die Sitzung und serialisiert die Dateien.
Ist das ein Echtzeit-Funnel oder ein Bericht über eindeutige Kunden?
Nein. Die Eingaben sind endliche Stapel abgeschlossener Sitzungen mit gültigen Kennungen und UTC-Zeitstempeln. Eine Sitzung kennzeichnet einen Besuch und kann Aufrufe mehrerer Produkte enthalten. Streaming, Bezahlvorgänge und geräteübergreifende Identität gehören nicht zum Kurs.
Was ändert sich in der Challenge?
Die Kennungen des Datenstapels und die Beziehungen zwischen Ereignissen ändern sich. Spark-Werkzeuge, Zeitregel, Ausgabeformate und Wiederherstellungsmethoden bleiben gleich. Dein Ergebnis muss den vollständigen Vergleich einschließlich Produkten ohne Warenkorbereignis und Gleichständen erhalten.
