Eine Hive-Datenpartition aktualisieren ist ein praktisches Projekt für Lernende, die grundlegende Hive-Abfragen beherrschen und ein Archiv gezielt korrigieren möchten. Ein Veranstaltungsort hat für bestimmte Tage einen neuen vollständigen Bestand bestätigter Besuche freigegeben. Du ersetzt diese Tage, behandelst einen freigegebenen Tag ohne bestätigte Besuche und erhältst alle anderen Tage sowie die ursprünglichen Quelldaten.
Der Kurs besteht aus einem Guided Lab und einer eigenständigen Challenge. Im Guided Lab vergleichst du das Anhängen, die Ersetzung einer gesamten Tabelle und die Ersetzung einer statischen Partition zunächst an wegwerfbaren Übungstabellen. Anschließend korrigierst du das eigentliche ORC-Archiv. Die Challenge enthält andere Daten und Tage sowie Kandidaten außerhalb des freigegebenen Bereichs.
Was du lernen wirst
Nach Abschluss des Kurses kannst du:
- vor einer Korrektur die Speicherorte externer Tabellen, Partitionsspalten und Speicherformate untersuchen;
- die vollständige Ersetzung eines Tages vom Anhängen neuer Datensätze unterscheiden;
- eine statische Zielpartition auswählen und die bestätigten Datensätze der passenden Quelle getrennt filtern;
- einen freigegebenen Tag leeren, dessen vollständiger Ersatzbestand keine bestätigten Besuche enthält, und die Partition dabei registriert lassen;
- nicht freigegebene Archivdaten, ihre ursprünglichen HDFS-Dateien und die vorgegebenen Quelldefinitionen und Quelldaten erhalten;
- SQL speichern und ausführen, dieselbe Datei erneut ausführen und das vollständige Archiv mit lesenden Abfragen prüfen.
Für wen dieser Kurs geeignet ist
Der Kurs richtet sich an Lernende mit grundlegender Hive-Erfahrung, die eine eng abgegrenzte, freigegebene Datenkorrektur praktisch durchführen möchten.
Voraussetzungen: Grundlegende Navigation im Terminal, HDFS-Pfade, externe Hive-Tabellen, SELECT mit WHERE, Partitionsspalten und ORC. Das Guided Lab erklärt das Überschreiben statischer Partitionen und die Shell-Syntax zum Speichern von SQL.
Lernumgebung: Jede Einheit stellt eine eigene vorbereitete Linux-Umgebung mit Hive, HDFS, Quelldatensätzen und einem ursprünglichen Archiv bereit. Du arbeitest im Browser-Tab Terminal und musst lokal nichts installieren. Befehle, Daten und Laufzeitausgaben bleiben auf Englisch.
Häufig gestellte Fragen
Muss ich Hive oder Hadoop installieren?
Nein. Dienste und Kursdaten sind für jede Einheit vorbereitet. Du konzentrierst dich darauf, das Archiv zu lesen, den freigegebenen Bereich zu bestimmen und die Korrektur anzuwenden.
Werden bei einer Korrektur einzelne Datensätze aktualisiert?
Hier bilden die freigegebenen Kandidaten den vollständigen Bestand bestätigter Besuche für einen Tag. Durch die Ersetzung verschwinden veraltete Datensätze. Ist der freigegebene Ersatzbestand leer, werden alle bisherigen Datensätze dieses Tages entfernt.
Wie erweitert die Challenge das Guided Lab?
Du untersuchst selbstständig eine neue Freigabeliste und neue Kandidatendaten, verwendest denselben Ersetzungsmechanismus und erhältst spätere, nicht freigegebene Daten. Die Challenge wird unabhängig initialisiert und benötigt keine Dateien aus dem Guided Lab.
