Destino de los Exploradores Revelado con Hadoop

Introducción

En el corazón del desierto del Sahara, un equipo de arqueólogos descubrió una pirámide egipcia antigua, escondida bajo las arenas doradas durante milenios. Los rumores de un explorador maldito que se aventuró hasta las profundidades de la tumba se extendieron como un incendio forestal, despertando tu curiosidad. Como analista de datos habilidoso, te han encomendado la tarea de descubrir la verdad detrás de la leyenda, utilizando el poder de Hadoop y Hive.

Tu misión tiene dos vertientes: primero, procesar un vasto conjunto de datos de registros arqueológicos, descubriendo pistas sobre la identidad y el destino del explorador maldito. Segundo, analizar el inventario de artefactos recuperados de la tumba, arrojando luz sobre la enigmática civilización que construyó la pirámide.

Skills Graph

Explorando los Registros Arqueológicos

En este paso, profundizaremos en los registros arqueológicos utilizando Hive y la cláusula where para filtrar y analizar los datos.

1. Inicie el entorno de Hadoop ejecutando el siguiente comando en su terminal:

su - hadoop

2. Inicie la shell de Hive ejecutando el siguiente comando:

hive

3. Cree una nueva tabla de Hive llamada archaeological_records para almacenar el conjunto de datos:

CREATE TABLE archaeological_records (
    record_id INT,
    site_name STRING,
    discovery_date DATE,
    description STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

4. Cargue los datos en la tabla archaeological_records desde el archivo /home/hadoop/records.csv:

LOAD DATA LOCAL INPATH '/home/hadoop/records.csv' OVERWRITE INTO TABLE archaeological_records;

5. Utilice la cláusula where para filtrar los registros relacionados con el sitio del explorador maldito:

SELECT *
FROM archaeological_records
WHERE site_name = 'Pyramid of Khufu';

Esta consulta mostrará todos los registros asociados con el sitio "Pyramid of Khufu", lo que le ayudará a reducir su búsqueda de pistas.

Analizando el Inventario de Artefactos

Ahora que hemos reducido los registros, analicemos el inventario de artefactos recuperados del sitio del explorador maldito.

1. Cree una nueva tabla de Hive llamada artifact_inventory para almacenar los datos de los artefactos:

CREATE TABLE artifact_inventory (
    artifact_id INT,
    artifact_name STRING,
    material STRING,
    site_name STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

2. Cargue los datos en la tabla artifact_inventory desde el archivo /home/hadoop/artifacts.csv:

LOAD DATA LOCAL INPATH '/home/hadoop/artifacts.csv' OVERWRITE INTO TABLE artifact_inventory;

3. Utilice la cláusula where para filtrar los artefactos encontrados en el sitio de la "Pirámide de Kufu":

SELECT artifact_name, material
FROM artifact_inventory
WHERE site_name = 'Pyramid of Khufu';

Esta consulta mostrará los nombres y los materiales de los artefactos encontrados en el sitio del explorador maldito, brindando información valiosa sobre la civilización que construyó la pirámide.

Descubriendo la Identidad del Explorador Maldito

Con los registros arqueológicos y el inventario de artefactos a mano, es hora de desentrañar el misterio de la identidad del explorador maldito.

1. Una las tablas archaeological_records y artifact_inventory en la columna site_name:

CREATE TABLE result_1
AS
SELECT ar.record_id, ar.description, ai.artifact_name
FROM archaeological_records ar
JOIN artifact_inventory ai
ON ar.site_name = ai.site_name
WHERE ar.site_name = 'Pyramid of Khufu';

SELECT * FROM result_1;

Esta consulta combinará los registros arqueológicos y la información de artefactos para el sitio de la "Pirámide de Kufu", lo que puede revelar pistas sobre la identidad y el destino del explorador maldito.

2. Utilice la cláusula where para filtrar los datos unidos en función de palabras clave o patrones relacionados con el explorador maldito:

CREATE TABLE result_2
AS
SELECT ar.record_id, ar.description, ai.artifact_name
FROM archaeological_records ar
JOIN artifact_inventory ai
ON ar.site_name = ai.site_name
WHERE ar.site_name = 'Pyramid of Khufu'
AND ar.description LIKE '%cursed explorer%';

SELECT * FROM result_2;

Esta consulta mostrará solo los registros y artefactos que mencionan al "explorador maldito", lo que le ayudará a armar el rompecabezas.

Resumen

En este laboratorio, exploramos el poder de Hadoop Hive y la cláusula where para desentrañar el misterio de un explorador maldito que se aventuró en una pirámide egipcia antigua. Al analizar registros arqueológicos e inventarios de artefactos, pudimos filtrar y extraer datos relevantes, descubriendo finalmente pistas sobre la identidad y el destino del explorador.

A través de esta experiencia práctica, adquirí una comprensión más profunda de las capacidades de procesamiento de datos de Hive y de la importancia del filtrado de datos para descubrir información valiosa en grandes conjuntos de datos. El escenario atractivo y la guía paso a paso del laboratorio hicieron que el proceso de aprendizaje fuera gratificante y divertido. Espero aplicar estas habilidades en futuros proyectos de análisis de datos, desentrañando más misterios ocultos en vastos tesoros de datos.