Das Schicksal von Entdeckern mit Hadoop enthüllt

Einführung

In der Mitte der Sahara entdeckte ein Team von Archäologen eine alte ägyptische Pyramide, die seit Jahrtausenden unter den goldenen Sands verborgen war. Gerüchte von einem verfluchten Entdecker, der in die Tiefe der Grabkammer eindrang, verbreiteten sich wie ein Lauffeuer und entzündeten deine Neugier. Als erfahrener Datenanalytiker hast du die Aufgabe, die Wahrheit hinter der Legende zu entdecken, indem du die Macht von Hadoop und Hive nutzt.

Deine Mission besteht aus zwei Teilen: Erstens, eine riesige Datensammlung archäologischer Aufzeichnungen zu verarbeiten, um Hinweise auf die Identität und das Schicksal des verfluchten Entdeckers zu entdecken. Zweitens, das Inventar der Funde aus der Grabkammer zu analysieren, um Aufschluss über die rätselhafte Zivilisation zu erhalten, die die Pyramide gebaut hat.

Das Entdecken der archäologischen Aufzeichnungen

In diesem Schritt tauchen wir in die archäologischen Aufzeichnungen ein, indem wir Hive und die where-Klausel verwenden, um die Daten zu filtern und zu analysieren.

1. Starten Sie die Hadoop-Umgebung, indem Sie den folgenden Befehl in Ihrem Terminal ausführen:

su - hadoop

2. Starten Sie die Hive-Shell, indem Sie den folgenden Befehl ausführen:

hive

3. Erstellen Sie eine neue Hive-Tabelle namens archäologische_Aufzeichnungen, um das Datenset zu speichern:

CREATE TABLE archäologische_Aufzeichnungen (
    record_id INT,
    site_name STRING,
    discovery_date DATE,
    description STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

4. Laden Sie die Daten in die Tabelle archäologische_Aufzeichnungen aus der Datei /home/hadoop/records.csv:

LOAD DATA LOCAL INPATH '/home/hadoop/records.csv' OVERWRITE INTO TABLE archäologische_Aufzeichnungen;

5. Verwenden Sie die where-Klausel, um die Aufzeichnungen zu filtern, die mit der Stätte des verfluchten Entdeckers zusammenhängen:

SELECT *
FROM archäologische_Aufzeichnungen
WHERE site_name = 'Pyramid of Khufu';

Diese Abfrage wird alle Aufzeichnungen anzeigen, die mit der Stätte "Pyramid of Khufu" zusammenhängen und Ihnen dabei helfen, Ihre Suche nach Hinweisen einzuschränken.

Die Analyse des Fundinventars

Jetzt, nachdem wir die Aufzeichnungen eingeschränkt haben, analysieren wir das Inventar der Funde, die aus der Stätte des verfluchten Entdeckers gefunden wurden.

1. Erstellen Sie eine neue Hive-Tabelle namens Fundinventar, um die Funddaten zu speichern:

CREATE TABLE Fundinventar (
    fund_id INT,
    fund_name STRING,
    material STRING,
    stättenname STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

2. Laden Sie die Daten in die Tabelle Fundinventar aus der Datei /home/hadoop/artifacts.csv:

LOAD DATA LOCAL INPATH '/home/hadoop/artifacts.csv' OVERWRITE INTO TABLE Fundinventar;

3. Verwenden Sie die where-Klausel, um die Funde zu filtern, die an der Stätte "Pyramid of Khufu" gefunden wurden:

SELECT fund_name, material
FROM Fundinventar
WHERE stättenname = 'Pyramid of Khufu';

Diese Abfrage wird die Namen und Materialien der Funde anzeigen, die an der Stätte des verfluchten Entdeckers gefunden wurden und wertvolle Einblicke in die Zivilisation geben, die die Pyramide gebaut hat.

Die Entdeckung der Identität des verfluchten Entdeckers

Mit den archäologischen Aufzeichnungen und dem Fundinventar in der Hand ist es an der Zeit, das Geheimnis der Identität des verfluchten Entdeckers aufzulösen.

1. Verknüpfen Sie die Tabellen archäologische_Aufzeichnungen und Fundinventar anhand der Spalte stättenname:

CREATE TABLE result_1
AS
SELECT ar.record_id, ar.description, ai.fund_name
FROM archäologische_Aufzeichnungen ar
JOIN Fundinventar ai
ON ar.stättenname = ai.stättenname
WHERE ar.stättenname = 'Pyramid of Khufu';

SELECT * FROM result_1;

Diese Abfrage wird die archäologischen Aufzeichnungen und die Fundinformationen für die Stätte "Pyramid of Khufu" kombinieren und möglicherweise Hinweise auf die Identität und das Schicksal des verfluchten Entdeckers liefern.

2. Verwenden Sie die where-Klausel, um die verknüpften Daten basierend auf Schlüsselwörtern oder Mustern, die mit dem verfluchten Entdecker zusammenhängen, zu filtern:

CREATE TABLE result_2
AS
SELECT ar.record_id, ar.description, ai.fund_name
FROM archäologische_Aufzeichnungen ar
JOIN Fundinventar ai
ON ar.stättenname = ai.stättenname
WHERE ar.stättenname = 'Pyramid of Khufu'
AND ar.description LIKE '%verfluchter Entdecker%';

SELECT * FROM result_2;

Diese Abfrage wird nur die Aufzeichnungen und Funde anzeigen, die den "verfluchten Entdecker" erwähnen und Ihnen dabei helfen, das Puzzle zusammenzustellen.

Zusammenfassung

In diesem Lab haben wir die Macht von Hadoop Hive und der where-Klausel genutzt, um das Geheimnis eines verfluchten Entdeckers zu entwirren, der in eine alte ägyptische Pyramide eindrang. Indem wir archäologische Aufzeichnungen und Fundinventare analysierten, konnten wir relevante Daten filtern und extrahieren und schließlich Hinweise auf die Identität und das Schicksal des Entdeckers aufdecken.

Durch diese praktische Erfahrung habe ich ein tieferes Verständnis für die Datenverarbeitungsfähigkeiten von Hive und die Wichtigkeit der Datenfilterung bei der Entdeckung von Erkenntnissen in großen Datensätzen gewonnen. Die ansprechende Szenerie und die schrittweise Anleitung des Labs machten den Lernprozess angenehm und lohnend. Ich freue mich darauf, diese Fähigkeiten in zukünftigen Datenanalyseprojekten anzuwenden und weitere Geheimnisse in großen Datenmengen zu entwirren.