Optimisation du flux de données intergalactiques

Introduction

En l'an 2375, la Fédération Galactique a établi un réseau de ports spatiaux pour faciliter le transport de biens et de ressources à travers l'immense étendue de la galaxie de la Voie Lactée. Vous êtes un navigateur de vol basé au Port Spatial d'Andromède, chargé d'optimiser l'importation et l'exportation de cargaisons intergalactiques en utilisant les capacités avancées de traitement de données de l'écosystème Hadoop.

Votre mission est de rationaliser le flux de données entre le port spatial et le Réseau Commercial Galactique, en vous assurant du traitement efficace des manifestes, des enregistrements d'inventaire et des informations logistiques. En maîtrisant l'art d'importer et d'exporter des données avec Hadoop, vous contribuerez au bon fonctionnement de ce nœud spatial interstellaire, permettant l'échange sans friction de biens et favorisant la croissance économique dans toute la galaxie.

Skills Graph

Importation de données à partir d'un système stellaire distant

Dans cette étape, vous allez apprendre à importer des données à partir d'un système stellaire distant dans le Hadoop Distributed File System (HDFS). Ces données représentent le manifeste de cargaison pour un expédition arrivant de la Nebuleuse d'Orion.

Tout d'abord, assurez-vous d'être connecté en tant qu'utilisateur hadoop en exécutant la commande suivante dans le terminal :

su - hadoop

Ensuite, accédez au répertoire /home/hadoop et créez un nouveau dossier appelé galactic_imports :

cd /home/hadoop
mkdir galactic_imports

Ensuite, utilisez la commande hdfs pour créer un répertoire dans HDFS appelé /home/hadoop/imports :

hdfs dfs -mkdir -p /home/hadoop/imports

Téléchargez le fichier manifeste de cargaison de la Nebuleuse d'Orion à l'aide de la commande wget :

wget http://localhost:8080/orion_manifest.csv -P /home/hadoop/galactic_imports/

Cette commande enregistrera le fichier orion_manifest.csv dans le répertoire galactic_imports. En pratique, vous pouvez remplacer http://localhost:8080 par l'URL réelle, par exemple https://example.com.

Importez le manifeste de cargaison dans HDFS à l'aide de la commande hadoop fs :

hadoop fs -put /home/hadoop/galactic_imports/orion_manifest.csv /home/hadoop/imports/

Cette commande copiera le fichier orion_manifest.csv depuis le système de fichiers local vers le répertoire /home/hadoop/imports dans HDFS.

Exportation de données au Réseau Commercial Galactique

Dans cette étape, vous allez apprendre à exporter des données traitées à partir d'Hadoop au Réseau Commercial Galactique, en vous assurant que les informations sur les cargaisons sont accessibles à tous les systèmes membres.

Tout d'abord, créez un nouveau répertoire dans HDFS appelé /home/hadoop/exports :

hdfs dfs -mkdir /home/hadoop/exports

Maintenant, lancez le shell Hive en exécutant la commande suivante :

hive

Exécutez une requête Hive pour traiter le fichier orion_manifest.csv et générer un rapport de synthèse :

CREATE TABLE orion_manifest(
  item STRING,
  quantity INT,
  origin STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

LOAD DATA INPATH '/home/hadoop/imports/orion_manifest.csv' INTO TABLE orion_manifest;

INSERT OVERWRITE DIRECTORY '/home/hadoop/exports/orion_summary'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
SELECT origin, SUM(quantity) AS total_quantity
FROM orion_manifest
GROUP BY origin;

EXIT;

Cette requête Hive créera une table à partir du fichier orion_manifest.csv, traitera les données et stockera le rapport de synthèse dans le répertoire /home/hadoop/exports/orion_summary dans HDFS.

Exporte le rapport de synthèse de HDFS vers le système de fichiers local :

mkdir /home/hadoop/galactic_exports
hadoop fs -get /home/hadoop/exports/orion_summary/* /home/hadoop/galactic_exports/

Cette commande créera un répertoire galactic_exports dans le répertoire /home/hadoop et copiera les fichiers du répertoire /home/hadoop/exports/orion_summary dans HDFS vers le répertoire galactic_exports.

Enfin, chargez le rapport de synthèse sur le Réseau Commercial Galactique à l'aide de la commande scp :

scp /home/hadoop/galactic_exports/* localhost:/home/hadoop/incoming/reports/

Cette commande copiera en toute sécurité les fichiers du répertoire galactic_exports vers le répertoire /incoming/reports/ sur le serveur localhost, rendant le rapport de synthèse accessible à tous les systèmes membres du Réseau Commercial Galactique. En pratique, vous pouvez remplacer localhost par un serveur réel, par exemple trade.network.com.

Sommaire

Dans ce laboratoire, vous avez appris à importer et à exporter des données dans l'écosystème Hadoop, une compétence cruciale pour gérer le flux d'informations dans la Fédération Galactique interstellaire. En maîtrisant ces techniques, vous avez contribué au bon fonctionnement du Port Spatial d'Andromède, facilitant l'échange sans friction de biens et de ressources à travers la galaxie.

Grâce à des exercices pratiques, vous avez importé des manifestes de cargaison à partir de systèmes stellaires distants dans le HDFS, traité les données à l'aide de requêtes Hive et exporté les rapports synthétisés vers le Réseau Commercial Galactique. Cette expérience pratique vous a doté des connaissances et des compétences nécessaires pour réussir en tant que navigateur de vol, assurant l'intégration sans heurt du port spatial dans le réseau complexe du commerce intergalactique.

Dans l'ensemble, ce laboratoire n'a pas seulement transmis une compétence technique, mais a également inculqué un sens de l'émerveillement et de l'appréciation pour les merveilles de la logistique interstellaire. La capacité de maîtriser le pouvoir d'Hadoop dans la gestion et le traitement d'un volume considérable de données vous propulsera sans aucun doute vers de nouveaux sommets dans votre carrière, contribuant à la croissance et à la prospérité continues de la Fédération Galactique.