Hadoop für Anfänger führt anhand täglicher Dateien eines Einzelhändlers in Big-Data-Speicherung und Batch-Verarbeitung ein. In einer echten Hadoop-Umgebung lernst du die Aufgaben von HDFS, MapReduce und YARN kennen, bereitest Eingaben vor, führst eine Berechnung aus und prüfst Ergebnisse.
Der Kurs enthält 9 angeleitete Labs und 3 Challenges. Die Labs erklären Konzepte und Arbeitsschritte; die Challenges kombinieren bereits geübte Fähigkeiten mit neuen Daten. Jede Aktivität bereitet eigene Dateien und Dienste vor.
Was du lernen wirst
Nach diesem Kurs kannst du:
- lokale Dateien von HDFS unterscheiden und die Hadoop-Konfiguration untersuchen;
- Dateien hochladen, ordnen, kopieren und exportieren und dabei Eingaben erhalten;
- Blöcke und Replikate untersuchen und Datei- und Verzeichnisrechte testen;
- Schlüssel-Wert-Paare durch Map, Shuffle und Reduce verfolgen;
- YARN-Jobs übermitteln, Zustände und Protokolle lesen, Ergebnisse prüfen und getrennte Wiederholungsausgaben erstellen;
- fehlende Eingaben, Ausgabekonflikte, Verbindungsfehler und fehlgeschlagene Tasks diagnostizieren.
Für wen dieser Kurs geeignet ist
Für Einsteiger in Big Data und Data Engineering, die zunächst ein vorbereitetes Hadoop-System nutzen möchten, bevor sie Clusterverwaltung lernen.
Voraussetzungen: Grundlegende Terminalbedienung. Hadoop-, Java- oder Python-Kenntnisse sind nicht erforderlich.
Lernumgebung: LabEx stellt ein vorbereitetes Linux-Terminal im Browser bereit. Die Umgebung mit einem Knoten vermittelt echte Hadoop-Operationen; Produktionscluster bereitzustellen gehört nicht zum Kurs.
Häufig gestellte Fragen
Kann ich ohne Big-Data- oder Programmierkenntnisse anfangen?
Ja, wenn du ein Terminal grundlegend bedienen kannst. Der Kurs erklärt, wozu Hadoop dient und wie HDFS-Speicherung, MapReduce-Verarbeitung und YARN-Ressourcenverwaltung zusammenarbeiten. Du musst weder Java noch Python schreiben.
Wo steht dieser Kurs im Big-Data-Lernpfad?
Beginne hier mit den Grundlagen der Speicherung und Batch-Verarbeitung und fahre anschließend mit Hive, Spark und Kafka fort. Challenges folgen auf angeleitete Übungen und verwenden nur Fähigkeiten, die dieser Kurs bereits eingeführt hat.
Muss ich Hadoop installieren oder einen Cluster mieten?
Nein. Jede Aktivität bietet eine vorbereitete LabEx-Umgebung im Browser. Du nutzt echte Hadoop-Dienste auf einem Knoten; die Übungen zeigen weder Ausfallsicherheit im Produktionsbetrieb noch verteilte Leistung.
