Apache Spark für Anfänger vermittelt Batch-Datenverarbeitung mit PySpark. Mit kleinen Handelsdatensätzen wandelst du CSV und JSON in typisierte DataFrames um, bereinigst Datensätze, berechnest Verkaufsberichte und speicherst später erneut lesbare Ergebnisse.
Der Kurs umfasst 11 angeleitete Labs und 2 Challenges. Vollständige Beispiele führen zu kleinen Änderungen und selbstständigen Aufgaben mit neuen Eingaben. Du untersuchst echte Ausführungsbelege und übermittelst eine wiederverwendbare Anwendung, statt dich auf eine interaktive Sitzung zu verlassen.
Was du lernen wirst
Nach diesem Kurs kannst du:
- DataFrames mit explizitem Schema erstellen und CSV sowie verschachteltes JSON lesen;
- Spalten filtern und transformieren, Werte sicher konvertieren und identische Zeilen entfernen;
- dezimale Verkaufsbeträge aggregieren und Kunden- und Produktreferenzen verknüpfen;
- bekannte Operationen mit Spark SQL und sitzungslokalen Ansichten ausdrücken;
- partitionierte Parquet-Datensätze schreiben und ihre logischen Datensätze prüfen;
- Ausführungspläne und Fehler untersuchen und eine parametrisierte Batch-Anwendung übermitteln und erneut ausführen.
Für wen dieser Kurs geeignet ist
Für Python-Lernende, die in Data Engineering einsteigen oder ihren ersten Spark-Batch-Ablauf erstellen möchten.
Voraussetzungen: Python-Variablen, Sammlungen, Funktionsaufrufe, Skriptausführung und einfache Terminalbedienung. Spark, pandas, Hadoop, Hive oder Java sind nicht erforderlich.
Lernumgebung: LabEx stellt ein vorbereitetes Linux-Terminal im Browser bereit. Echtes PySpark läuft mit local[2], zwei Threads auf einem Rechner; verteilte Cluster bereitzustellen gehört nicht zum Kurs.
Häufig gestellte Fragen
Wie viel Python brauche ich, und muss ich Hadoop oder Hive vorher abschließen?
Du solltest Python-Variablen, Collections, Funktionsaufrufe und das Ausführen von Skripten verstehen. Hadoop und Hive liefern hilfreichen Kontext, sind aber keine Voraussetzungen. Der Kurs führt DataFrames und das benötigte Spark SQL ein.
Lerne ich neben Batch-Verarbeitung auch Streaming?
Dieser Kurs behandelt die Batch-Verarbeitung von CSV- und JSON-Dateien und endet mit einer wiederverwendbaren Verkaufspipeline. Spark Streaming und RDD-Programmierung gehören nicht zum Kurs.
Muss ich Spark installieren oder mehrere Rechner mieten?
Nein. LabEx stellt PySpark und die Datensätze in einer vorbereiteten Browserumgebung bereit. Du nutzt zwei Ausführungsthreads auf einem Rechner und lernst echte APIs und ihr Ausführungsverhalten kennen, ohne einen verteilten Cluster bereitzustellen.
