Einführung
In einer fernen Zukunft hat die Menschheit ihren Einfluss auf das weite Weltall ausgeweitet. Die Interstellar Spaceport Authority (ISA) ist für die Verwaltung des komplexen Netzwerks von Weltraumbahnhöfen verantwortlich, die sich über die Galaxie verteilen. Als Oberbefehlshaber der ISA ist deine Aufgabe, die Betriebsmittel der Weltraumbahnhöfe durch die Nutzung der Kraft der Partitionierung und Bucketing-Fähigkeiten von Hadoop zu optimieren.
Das Rechenzentrum des Weltraumbahnhofs enthält eine enorme Menge an Informationen, darunter Flugprotokolle, Frachtlisten und Passagieraufzeichnungen. Effizientes Datenmanagement ist entscheidend für die Gewährleistung von reibungslosen Betriebsabläufen und für informierte Entscheidungen. Dein Ziel ist es, Partitionierungs- und Bucketing-Strategien umzusetzen, um die Abfrageleistung und die Datenorganisation im Hadoop-Ekosystem zu verbessern.
Erstelle eine partitionierte Tabelle
In diesem Schritt erstellen Sie eine partitionierte Tabelle, um Flugprotokolldaten zu speichern, was die Abfrageleistung verbessern und effizientes Datenmanagement ermöglichen wird.
Stellen Sie zunächst sicher, dass Sie als Benutzer hadoop angemeldet sind, indem Sie den folgenden Befehl in der Konsole ausführen:
su - hadoop
Starten Sie dann die Hive-Shell, indem Sie den folgenden Befehl ausführen:
hive
Erstellen Sie nun eine Datenbank, wenn sie noch nicht existiert:
CREATE DATABASE IF NOT EXISTS spaceport;
Wechseln Sie zur Datenbank spaceport:
USE spaceport;
Als Nächstes erstellen Sie eine partitionierte Tabelle für Flugprotokolle:
CREATE TABLE flight_logs (
flight_id STRING,
spacecraft STRING,
departure_time TIMESTAMP,
arrival_time TIMESTAMP,
destination STRING
)
PARTITIONED BY (year INT, month INT)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;
Beenden Sie schließlich Hive mit dem folgenden Befehl:
EXIT;
In dem obigen Code erstellen wir eine partitionierte Tabelle flight_logs mit Spalten für die Flug-ID, das Raumschiff, die Abflugzeit, die Ankunftszeit und das Ziel. Die Tabelle wird nach den Spalten year und month partitioniert, was bedeutet, dass die Daten basierend auf den Jahr- und Monatswerten in separate Partitionen organisiert werden.
Lade Daten in die partitionierte Tabelle
In diesem Schritt laden Sie Beispiel-Flugprotokolldaten in die partitionierte Tabelle, die Sie im vorherigen Schritt erstellt haben.
Erstellen Sie zunächst einige Beispiel-Flugprotokolldateien:
cat > /home/hadoop/flight_logs_1.txt << EOF
FL001,Andromeda Explorer,2023-06-01 08:00:00,2023-06-02 12:30:00,Andromeda Galaxy
FL002,Milky Way Voyager,2023-06-15 10:15:00,2023-06-16 06:45:00,Milky Way Galaxy
EOF
cat > /home/hadoop/flight_logs_2.txt << EOF
FL003,Cygnus Cruiser,2023-07-20 14:30:00,2023-07-21 09:00:00,Cygnus Constellation
FL004,Orion Shuttle,2023-07-25 18:00:00,2023-07-26 03:15:00,Orion Nebula
EOF
Laden Sie dann die Daten in die partitionierte Tabelle:
hive -e "LOAD DATA LOCAL INPATH '/home/hadoop/flight_logs_1.txt' INTO TABLE spaceport.flight_logs PARTITION (year=2023, month=6);"
hive -e "LOAD DATA LOCAL INPATH '/home/hadoop/flight_logs_2.txt' INTO TABLE spaceport.flight_logs PARTITION (year=2023, month=7);"
Im obigen Code erstellen wir zunächst einige Beispiel-Flugprotokolldateien flight_logs_1.txt und flight_logs_2.txt mit vier Flugaufzeichnungen. Anschließend verwenden wir den LOAD DATA-Befehl in Hive, um die Daten in die partitionierte Tabelle flight_logs zu laden. Wir laden die Daten zweimal, einmal für die Partition year=2023 und month=6 und einmal für die Partition year=2023 und month=7.
Erstelle eine gebucktete Tabelle
In diesem Schritt erstellen Sie eine buckettierte Tabelle, um Frachtlisten-Daten zu speichern, was die Abfrageleistung für Abfragen, die die cargo_type-Spalte betreffen, verbessern wird.
Starten Sie zunächst die Hive-Shell, indem Sie den folgenden Befehl ausführen:
hive
Wechseln Sie dann zur Datenbank spaceport:
USE spaceport;
Erstellen Sie nun eine buckettierte Tabelle für Frachtlisten:
CREATE TABLE cargo_manifests (
manifest_id STRING,
cargo_type STRING,
destination STRING,
weight DOUBLE,
volume DOUBLE
)
CLUSTERED BY (cargo_type) INTO 4 BUCKETS
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;
Beenden Sie schließlich Hive mit dem folgenden Befehl:
EXIT;
Im obigen Code erstellen wir eine buckettierte Tabelle cargo_manifests mit Spalten für die Manifest-ID, den Frachttyp, das Ziel, das Gewicht und das Volumen. Die Tabelle wird nach der cargo_type-Spalte in 4 Buckets gruppiert (geclustert), um die Abfrageleistung für Abfragen zu verbessern, die die cargo_type-Spalte betreffen.
Lade Daten in die gebucktete Tabelle
In diesem Schritt laden Sie Beispiel-Frachtlisten-Daten in die buckettierte Tabelle, die Sie im vorherigen Schritt erstellt haben.
Erstellen Sie zunächst eine Beispiel-Frachtlisten-Datei:
cat > /home/hadoop/cargo_manifests.txt << EOF
CM001,Electronics,Andromeda Galaxy,5.2,2.1
CM002,Machinery,Milky Way Galaxy,12.8,8.5
CM003,Food,Cygnus Constellation,3.1,1.5
CM004,Electronics,Orion Nebula,7.9,3.2
EOF
Laden Sie dann die Daten in die buckettierte Tabelle:
hive -e "LOAD DATA LOCAL INPATH '/home/hadoop/cargo_manifests.txt' OVERWRITE INTO TABLE spaceport.cargo_manifests;"
Im obigen Code erstellen wir zunächst eine Beispiel-Frachtlisten-Datei cargo_manifests.txt mit vier Frachtaufzeichnungen. Anschließend verwenden wir den LOAD DATA-Befehl in Hive, um die Daten in die buckettierte Tabelle cargo_manifests zu laden.
Zusammenfassung
In diesem Lab haben wir die Implementierung von Partitionen und Buckets in Hadoop Hive untersucht. Wir haben begonnen, indem wir eine partitionierte Tabelle erstellt haben, um Flugprotokolldaten zu speichern, die nach Jahr und Monat partitioniert sind. Dieser Ansatz ermöglicht eine effiziente Abfrage und Datenverwaltung, indem die Daten basierend auf bestimmten Kriterien in separate Partitionen organisiert werden.
Als Nächstes haben wir Beispiel-Flugprotokolldaten in die partitionierte Tabelle mit dem LOAD DATA-Befehl geladen und dabei sichergestellt, dass die Daten korrekt nach Jahr und Monat partitioniert sind.
Wir haben dann eine buckettierte Tabelle erstellt, um Frachtlisten-Daten zu speichern, die nach der cargo_type-Spalte gebucktet sind. Das Bucketing hilft bei der Verbesserung der Abfrageleistung, indem die Daten basierend auf einer bestimmten Spalte in kleinere, leichter verwaltbare Blöcke unterteilt werden.
Schließlich haben wir Beispiel-Frachtlisten-Daten in die buckettierte Tabelle mit dem LOAD DATA-Befehl geladen.
Während des gesamten Labs haben wir die Wichtigkeit von Partitionierung und Bucketing im Hadoop-Ekosystem für die Optimierung der Datenspeicherung, der Abfrageleistung und der gesamten Datenverwaltung gelernt. Indem wir diese Techniken implementieren, können wir effiziente Operationen bei der Interstellar Spaceport Authority gewährleisten und auf der Grundlage der großen Datenmengen informierte Entscheidungen treffen.
