La création de tables mythiques dans Hadoop

Introduction

Bienvenue sur l'île mystérieuse de Banister, un lieu où l'extraordinaire et le quotidien s'entremêlent. Ici, le sorcier énigmatique Hadrien réside, un maître des arts arcaniques. Son dernier projet est de déverrouiller les secrets des anciens rouleaux Hadoop, qui possèdent le pouvoir de dévoiler les mystères de l'organisation et de la manipulation des données.

Votre quête, si vous choisissez de l'accepter, est d'aider le sorcier Hadrien à créer des tables dans le domaine d'Hadoop Hive. Cet outil puissant vous permet de structurer et de stocker d'énormes quantités de données, vous permettant d'extraire des informations précieuses et de découvrir des modèles cachés. Au cours de ce laboratoire, vous allez découvrir les subtilités de la création de tables, posant les bases pour une compréhension plus approfondie des capacités d'Hadoop.

Skills Graph

Accès à l'environnement Hadoop

Dans cette étape, nous allons préparer l'environnement pour les tâches qui vous attendent en accédant au répertoire personnel de l'utilisateur Hadoop.

Tout d'abord, ouvrez une fenêtre de terminal et basculez sur l'utilisateur hadoop en exécutant la commande suivante :

su - hadoop

Vous ne devriez pas être invité à saisir de mot de passe. Une fois que vous avez réussi à basculer sur l'utilisateur hadoop, votre répertoire de travail actuel devrait être /home/hadoop.

Création d'une base de données

Avant de pouvoir créer des tables, nous avons besoin d'une base de données pour les stocker. Dans cette étape, nous allons créer une nouvelle base de données appelée magic_realm.

Dans le terminal, exécutez la commande suivante pour démarrer l'interface de ligne de commande (CLI) d'Hive :

hive

Une fois que l'interface CLI d'Hive est en cours d'exécution, exécutez la commande suivante pour créer la base de données magic_realm :

CREATE DATABASE magic_realm;

Vous devriez voir un message de réussite indiquant que la base de données a été créée.

Création d'une table

Maintenant que nous avons une base de données, créons notre première table à l'intérieur. Cette table stockera des informations sur les diverses créatures magiques qui habitent l'île de Banister.

Tout d'abord, basculez sur la base de données magic_realm en exécutant la commande suivante dans l'interface CLI d'Hive :

USE magic_realm;

Ensuite, créez une table appelée creatures avec la structure suivante :

CREATE TABLE creatures (
  id INT,
  name STRING,
  species STRING,
  habitat STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ',';

Cette commande crée une table nommée creatures avec quatre colonnes :

• id : Une valeur entière représentant l'identifiant unique de la créature.
• name : Une valeur de chaîne représentant le nom de la créature.
• species : Une valeur de chaîne représentant l'espèce de la créature.
• habitat : Une valeur de chaîne représentant l'habitat où la créature réside.

La clause ROW FORMAT DELIMITED spécifie que les données dans la table seront délimitées par des virgules (,).

Chargement de données dans la table

Avec notre table creatures créée, il est temps de la peupler de données. Nous allons utiliser un fichier de données d'échantillonnage contenant des informations sur diverses créatures magiques.

Tout d'abord, créez un nouveau répertoire appelé data dans le répertoire /home/hadoop :

mkdir /home/hadoop/data

Ensuite, créez un fichier appelé creatures.csv dans le répertoire /home/hadoop/data avec le contenu suivant :

1,Unicorn,Equine,Forest
2,Phoenix,Avian,Volcanic Regions
3,Mermaid,Aquatic,Oceans
4,Griffon,Hybrid,Mountains

Enregistrez le fichier et quittez l'éditeur de texte.

Ensuite, assurez-vous d'être dans le shell d'Hive. Si ce n'est pas le cas, lancez-le en exécutant la commande suivante :

hive

Basculez sur la base de données magic_realm en utilisant la commande suivante :

USE magic_realm;

Maintenant, nous pouvons charger les données de creatures.csv dans la table creatures en utilisant la commande suivante dans l'interface CLI d'Hive :

LOAD DATA LOCAL INPATH '/home/hadoop/data/creatures.csv' INTO TABLE creatures;

Cette commande charge les données du fichier local /home/hadoop/data/creatures.csv dans la table creatures.

Sommaire

Dans ce laboratoire, vous avez aidé le sorcier Hadrien à naviguer dans le domaine d'Hadoop Hive et à maîtriser l'art de la création de tables. Vous avez appris à créer une base de données, à définir des structures de table et à charger des données dans des tables. Ces compétences de base serviront de fondement pour votre parcours dans le monde de la manipulation et de l'analyse de données.

Au fur et à mesure que vous poursuivez vos études, vous plongerez plus profondément dans les complexités d'Hadoop Hive, libérant son potentiel total pour dévoiler les mystères cachés dans de vastes ensembles de données. Rappelez-vous, le chemin vers la maîtrise passe par une pratique assidue et une détermination inébranlable. Embracez les défis, et laissez la sagesse des anciens manuscrits vous guider vers l'émergence d'un véritable magicien des données.