Apache Kafka für Anfänger erklärt Ereignisübermittlung anhand des Bestellverlaufs eines Händlers. Du veröffentlichst und liest echte Kafka-Datensätze, untersuchst Schlüssel und Partitionen und verfolgst den Lesefortschritt, bevor du Python-Clients zur Dateiausgabe erstellst.
Der Kurs verbindet 8 angeleitete Labs mit 2 Challenges. Die ersten sechs Aktivitäten nutzen Terminalwerkzeuge, die letzten vier Python. Beispiele erklären Erfolg und kontrolliertes Scheitern, bevor Challenges bekannte Operationen mit neuen Eingaben kombinieren.
Was du lernen wirst
Nach diesem Kurs kannst du:
- Topics erstellen, Metadaten untersuchen und Aufbewahrung konfigurieren;
- Datensätze mit Schlüsseln veröffentlichen und Reihenfolge sowie Offsets innerhalb von Partitionen prüfen;
- festgeschriebene nächste Positionen verfolgen, das Lesen fortsetzen und gespeicherte Ereignisse erneut lesen;
- Gruppenzuweisungen und Änderungen beim Austritt eines Mitglieds untersuchen;
- JSON im Python-Producer serialisieren und Zustellungsrückrufe sowie ausstehende Arbeit prüfen;
- einen begrenzten Consumer schreiben, der Ereignisse prüft, vor expliziten Commits Dateipuffer leert und fehlerhafte Datensätze sowie erneute Zustellung sichtbar macht.
Für wen dieser Kurs geeignet ist
Für Einsteiger in ereignisgesteuerte Datenpipelines, die Kafka-Datensätze und Clientverhalten anhand kleiner, beobachtbarer Beispiele verstehen möchten.
Voraussetzungen: Einfache Terminalbedienung für die ersten sechs Aktivitäten; für die letzten vier zusätzlich Python-Funktionen, Schleifen, Dictionaries, JSON und Skriptausführung. Kafka, Java, Hadoop, Hive und Spark sind keine Voraussetzungen.
Lernumgebung: LabEx bietet ein Linux-Terminal im Browser, einen Kafka-Broker und installierte Python-Abhängigkeiten. Der Kurs behandelt Clients, nicht Produktionscluster oder durchgängige Exactly-once-Garantien.
Häufig gestellte Fragen
Brauche ich Python oder Erfahrung mit Hadoop, Hive oder Spark?
Für die ersten sechs Aktivitäten reicht grundlegende Terminalbedienung. Die letzten vier erfordern Grundlagen zu Python-Funktionen, Schleifen, Dictionaries, JSON und dem Ausführen von Skripten. Die anderen Big-Data-Kurse sind keine Voraussetzungen.
Wie passt Kafka zur dateibasierten Batch-Verarbeitung?
Kafka speichert Ereignisdatensätze, die Producer veröffentlichen und Consumer lesen. Der Kurs verfolgt Bestellereignisse durch Topics, Partitionen und den Lesefortschritt der Consumer und speichert sie anschließend in einer Datei. Er erstellt keine Spark-Streaming-Anwendung und verspricht keine durchgängige Exactly-once-Zustellung.
Muss ich Kafka installieren oder einen verwalteten Cloud-Dienst nutzen?
Nein. Jede Aktivität stellt in LabEx eine vorbereitete Kafka-Umgebung mit einem Broker und den benötigten Clients bereit. Du übst im Browser, ohne einen externen Kafka-Dienst einzurichten.
