Magische Tabellenherstellung in Hadoop

Einführung

Willkommen auf der mystischen Banister Isle, einem Ort, an dem das Außergewöhnliche und das Alltägliche miteinander verflochten sind. Hier wohnt der rätselhafte Zauberer Hadrian, ein Meister der magischen Künste. Sein neuestes Vorhaben ist es, die Geheimnisse der antiken Hadoop-Rollen zu entlocken, die die Macht haben, die Geheimnisse der Datenorganisation und -manipulation zu entwirren.

Ihre Aufgabe, sollten Sie sie annehmen, besteht darin, Zauberer Hadrian bei der Erstellung von Tabellen im Bereich von Hadoop Hive zu unterstützen. Dieses leistungsstarke Tool ermöglicht es Ihnen, große Mengen an Daten zu strukturieren und zu speichern, was Ihnen ermöglicht, wertvolle Erkenntnisse zu ziehen und verborgene Muster zu entdecken. Während dieses Labors lernen Sie die Feinheiten der Tabellenerstellung kennen und legen damit die Grundlage für ein tieferes Verständnis der Fähigkeiten von Hadoop.

Skills Graph

Navigieren in die Hadoop-Umgebung

In diesem Schritt bereiten wir die Umgebung für Ihre kommenden Aufgaben vor, indem wir in das Home-Verzeichnis des Hadoop-Benutzers navigieren.

Öffnen Sie zunächst ein Terminalfenster und wechseln Sie zum Benutzer hadoop, indem Sie den folgenden Befehl ausführen:

su - hadoop

Es wird Ihnen kein Passwort abgefragt. Nachdem Sie erfolgreich zum Benutzer hadoop gewechselt sind, sollte Ihr aktuelles Arbeitsverzeichnis /home/hadoop sein.

Erstellen einer Datenbank

Bevor wir Tabellen erstellen können, müssen wir eine Datenbank haben, um sie zu speichern. In diesem Schritt werden wir eine neue Datenbank namens magic_realm erstellen.

Öffnen Sie in der Konsole den folgenden Befehl, um die Hive-Befehlszeilenschnittstelle (CLI) zu starten:

hive

Sobald die Hive-Befehlszeilenschnittstelle ausgeführt wird, führen Sie den folgenden Befehl aus, um die Datenbank magic_realm zu erstellen:

CREATE DATABASE magic_realm;

Es sollte eine Erfolgsmeldung erscheinen, die angibt, dass die Datenbank erstellt wurde.

Erstellen einer Tabelle

Jetzt, da wir eine Datenbank haben, erstellen wir unsere erste Tabelle darin. Diese Tabelle wird Informationen über die verschiedenen magischen Kreaturen speichern, die auf Banister Isle leben.

Wechseln Sie zunächst zur Datenbank magic_realm, indem Sie folgenden Befehl in der Hive-Befehlszeilenschnittstelle ausführen:

USE magic_realm;

Als Nächstes erstellen Sie eine Tabelle namens creatures mit der folgenden Struktur:

CREATE TABLE creatures (
  id INT,
  name STRING,
  species STRING,
  habitat STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ',';

Dieser Befehl erstellt eine Tabelle namens creatures mit vier Spalten:

• id: Ein ganzzahliger Wert, der die eindeutige Identifizierung der Kreatur darstellt.
• name: Ein Zeichenfolgenwert, der den Namen der Kreatur darstellt.
• species: Ein Zeichenfolgenwert, der die Art der Kreatur darstellt.
• habitat: Ein Zeichenfolgenwert, der den Lebensraum darstellt, in dem die Kreatur lebt.

Der Ausdruck ROW FORMAT DELIMITED gibt an, dass die Daten in der Tabelle durch Kommas (,) getrennt sind.

Laden von Daten in die Tabelle

Mit unserer erstellten Tabelle creatures ist es an der Zeit, sie mit Daten zu füllen. Wir werden eine Beispiel-Datendatei verwenden, die Informationen über verschiedene magische Kreaturen enthält.

Erstellen Sie zunächst ein neues Verzeichnis namens data im Verzeichnis /home/hadoop:

mkdir /home/hadoop/data

Als Nächstes erstellen Sie in das Verzeichnis /home/hadoop/data eine Datei namens creatures.csv mit dem folgenden Inhalt:

1,Unicorn,Equine,Forest
2,Phoenix,Avian,Volcanic Regions
3,Mermaid,Aquatic,Oceans
4,Griffon,Hybrid,Mountains

Speichern Sie die Datei und beenden Sie den Texteditor.

Stellen Sie sicher, dass Sie sich im Hive-Shell befinden. Wenn nicht, starten Sie es mit dem folgenden Befehl:

hive

Wechseln Sie zur Datenbank magic_realm mit dem folgenden Befehl:

USE magic_realm;

Jetzt können wir die Daten aus creatures.csv in die Tabelle creatures laden, indem wir folgenden Befehl in der Hive-Befehlszeilenschnittstelle verwenden:

LOAD DATA LOCAL INPATH '/home/hadoop/data/creatures.csv' INTO TABLE creatures;

Dieser Befehl lädt die Daten aus der lokalen Datei /home/hadoop/data/creatures.csv in die Tabelle creatures.

Zusammenfassung

In diesem Lab haben Sie Sorcerer Hadrian dabei unterstützt, sich in der Welt von Hadoop Hive zurechtzufinden und die Kunst des Tabellenerstellens zu meistern. Sie haben gelernt, wie man eine Datenbank erstellt, Tabellenstrukturen definiert und Daten in Tabellen lädt. Diese grundlegenden Kenntnisse werden als Eckpfeiler Ihres Weges in die Welt der Datenmanipulation und -analyse dienen.

Wenn Sie Ihre Studien fortsetzen, werden Sie tiefer in die Komplexitäten von Hadoop Hive eintauchen und dessen volle Potenziale entfalten, um die Geheimnisse in großen Datensätzen zu entwirren. Denken Sie daran, der Weg zur Meisterschaft besteht in fleißiger Übung und unbeirrbarer Entschlossenheit. Nehmen Sie die Herausforderungen an und lassen Sie die Weisheit der alten Pergamente Sie zu einem wahren Datenzauberer werden führen.