Introduction
Bienvenue dans le monde futuriste de la réalité virtuelle (VR), où la technologie et l'imagination se mêlent pour créer des expériences immergentes telles que jamais auparavant. Vous êtes un animateur de jeu VR, responsable de la conception et de la maintenance d'environnements virtuels captivants qui transportent les joueurs dans des mondes au-delà de leurs plus fous rêves.
Votre dernier projet est de créer un jeu VR qui simule l'immensité de l'univers, permettant aux joueurs d'explorer les galaxies lointaines, de découvrir les mystères cosmiques et de dévoiler les secrets de l'univers. Cependant, pour réaliser cette entreprise ambitieuse, vous devez exploiter le pouvoir des données volumineuses et tirer parti des capacités de l'écosystème Hadoop.
Dans ce laboratoire, vous plongerez dans le monde des fonctions définies par l'utilisateur Hadoop (UDF), une fonction puissante qui vous permet d'étendre la fonctionnalité de Hive, le composant de stockage de données de Hadoop. En maîtrisant les UDF, vous pouvez créer des fonctions personnalisées adaptées aux exigences uniques de votre jeu, vous permettant de traiter et d'analyser des données astronomiques avec une efficacité et une précision inégalées auparavant.
Configurer l'environnement
Dans cette étape, vous allez configurer l'environnement nécessaire pour travailler avec Hadoop et Hive. Tout d'abord, assurez-vous d'avoir basculé sur l'utilisateur hadoop en exécutant la commande suivante dans votre terminal :
su - hadoop
Ensuite, accédez au répertoire /home/hadoop, qui sera votre répertoire de travail par défaut :
cd /home/hadoop
Créez un nouveau répertoire appelé udfs pour stocker vos fonctions définies par l'utilisateur :
mkdir udfs
cd udfs
Créer une UDF simple
Dans cette étape, vous allez créer une fonction définie par l'utilisateur (UDF) simple qui calcule la distance entre deux objets célestes en fonction de leurs coordonnées. Cette fonction sera essentielle pour représenter avec précision les positions et les mouvements des corps célestes dans votre jeu VR.
Tout d'abord, créez un nouveau fichier appelé DistanceCalculator.java dans le répertoire udfs :
nano DistanceCalculator.java
Copiez et collez le code Java suivant dans le fichier :
import org.apache.hadoop.hive.ql.exec.UDF;
public class DistanceCalculator extends UDF {
public double evaluate(double x1, double y1, double z1,
double x2, double y2, double z2) {
double dx = x1 - x2;
double dy = y1 - y2;
double dz = z1 - z2;
double distance = Math.sqrt(dx * dx + dy * dy + dz * dz);
return distance;
}
}
Ce code Java définit une UDF appelée DistanceCalculator qui prend six paramètres DoubleWritable représentant les coordonnées de deux objets célestes (x1, y1, z1 et x2, y2, z2). La méthode evaluate calcule la distance euclidienne entre les deux objets et renvoie le résultat sous forme d'un DoubleWritable.
Enregistrez le fichier et quittez l'éditeur de texte.
Ensuite, compilez le code Java à l'aide de la commande suivante :
javac -source 8 -target 8 -classpath /home/hadoop/hadoop/share/hadoop/common/*:/usr/local/hive/lib/* DistanceCalculator.java
Cette commande compile le fichier DistanceCalculator.java et crée un fichier de bytecode DistanceCalculator.class.
Enfin, créez un fichier JAR contenant la classe compilée :
jar cf distance_calculator.jar DistanceCalculator.class
Cette commande crée un fichier JAR nommé distance_calculator.jar contenant le bytecode DistanceCalculator.class.
Enregistrer l'UDF dans Hive
Maintenant que vous avez créé la UDF DistanceCalculator, vous devez l'enregistrer dans Hive afin de pouvoir l'utiliser pour traiter des données astronomiques.
Tout d'abord, lancez le shell Hive en exécutant la commande suivante :
hive
Une fois dans le shell Hive, créez une fonction temporaire à l'aide de la UDF DistanceCalculator :
ADD JAR /home/hadoop/udfs/distance_calculator.jar;
CREATE TEMPORARY FUNCTION distance_calculator AS 'DistanceCalculator';
La commande ADD JAR ajoute le fichier JAR contenant la UDF compilée à l'environnement Hive, et la commande CREATE TEMPORARY FUNCTION crée une fonction temporaire appelée distance_calculator qui référence la classe DistanceCalculator.
Vous pouvez maintenant utiliser la fonction distance_calculator dans vos requêtes Hive. Par exemple, créons une table d'échantillonnage appelée celestial_objects et calculons la distance entre deux objets :
CREATE TABLE celestial_objects (
name STRING,
x DOUBLE,
y DOUBLE,
z DOUBLE
);
Cette requête crée une table celestial_objects avec des colonnes pour le nom et les coordonnées des objets célestes.
INSERT INTO celestial_objects VALUES
('Terre', 0.0, 0.0, 0.0),
('Lune', 384400.0, 0.0, 0.0),
('Mars', 227940000.0, 0.0, 0.0);
Ensuite, elle insère des données d'échantillonnage pour la Terre, la Lune et Mars.
SELECT
o1.name AS objet1,
o2.name AS objet2,
distance_calculator(o1.x, o1.y, o1.z, o2.x, o2.y, o2.z) AS distance
FROM celestial_objects o1
CROSS JOIN celestial_objects o2
WHERE o1.name < o2.name;
Enfin, elle effectue un cross join entre toutes les paires d'objets et calcule la distance entre eux à l'aide de la UDF distance_calculator.
La sortie devrait ressembler à :
objet1 objet2 distance
Terre Lune 384400.0
Mars Lune 2.275556E8
Terre Lune 384400.0
...
Créer une UDF permanente
Alors que les fonctions temporaires sont utiles pour les tests et l'exploration, elles sont perdues lorsque vous quittez le shell Hive. Pour rendre votre UDF disponible de manière permanente, vous devez créer une fonction permanente.
Tout d'abord, quittez le shell Hive en exécutant la commande suivante :
quit;
Ensuite, créez un nouveau fichier appelé create_udf.hql dans le répertoire udfs :
nano create_udf.hql
Copiez et collez le code suivant dans le fichier :
CREATE FUNCTION distance_calculator AS 'DistanceCalculator' USING JAR 'hdfs:///home/hadoop/udfs/distance_calculator.jar';
Cette requête Hive crée une fonction permanente appelée distance_calculator qui référence la classe DistanceCalculator dans le fichier distance_calculator.jar stocké dans le Hadoop Distributed File System (HDFS).
Enregistrez le fichier et quittez l'éditeur de texte.
Ensuite, créez le fichier distance_calculator.jar dans HDFS en exécutant la commande suivante :
hadoop fs -mkdir -p /home/hadoop/udfs
hadoop fs -put distance_calculator.jar /home/hadoop/udfs/
Cette commande copie le fichier distance_calculator.jar du système de fichiers local dans le répertoire /home/hadoop/udfs/ de HDFS.
Enfin, exécutez le script create_udf.hql dans Hive :
hive -f create_udf.hql
Cette commande exécute le script Hive, créant la fonction permanente distance_calculator.
Vous pouvez maintenant utiliser la fonction distance_calculator dans vos requêtes Hive, même après avoir quitté et redémarré le shell Hive.
Résumé
Dans ce laboratoire, vous avez appris à créer et à utiliser des fonctions définies par l'utilisateur (UDF) dans Hadoop Hive, une fonction puissante qui vous permet d'étendre la fonctionnalité du composant de stockage de données de Hadoop. En concevant un jeu VR futuriste qui simule l'exploration du cosmos, vous avez acquis une expérience pratique dans la création d'une UDF personnalisée pour calculer la distance entre des objets célestes en fonction de leurs coordonnées.
Grâce à ce laboratoire, vous n'avez pas seulement maîtrisé le processus de développement, de compilation et d'enregistrement des UDF dans Hive, mais vous avez également acquis des connaissances précieuses sur la manière dont les UDF peuvent être utilisées pour traiter et analyser des données astronomiques avec une efficacité et une précision inégalées. Les compétences que vous avez acquises seront précieuses lorsque vous continuerez à pousser les limites des expériences de réalité virtuelle, immergeant les joueurs dans des aventures cosmique captivantes et réalistes.
