Gestion des politiques de stockage Hadoop

Introduction

Dans ce laboratoire, vous allez apprendre à maîtriser les politiques de stockage Hadoop, dévoilant les secrets cachés dans les sables dorés du vaste désert arabe. Vous entreprendrez un voyage où un sage magicien vous défie à utiliser le pouvoir de ces politiques, permettant une gestion efficace du stockage de données dans Hadoop. Gagnez des compétences précieuses pour stocker et récupérer des données sur différents niveaux, optimisant à la fois les performances et l'efficacité économique.

Comprendre les politiques de stockage dans Hadoop

Dans cette étape, vous allez apprendre le concept des politiques de stockage dans Hadoop et comment elles peuvent être utilisées pour gérer le stockage de données sur différents niveaux de stockage.

Changez d'utilisateur pour accéder au système de fichiers Hadoop en utilisant la commande su - hadoop. Ensuite, liste les politiques de stockage disponibles :

hdfs storagepolicies -listPolicies

La sortie devrait afficher les politiques de stockage par défaut disponibles dans votre cluster Hadoop. Voici une sortie exemple :

Block Storage Policies:
BlockStoragePolicy{PROVIDED:...}
BlockStoragePolicy{COLD:...}
BlockStoragePolicy{WARM:...}
BlockStoragePolicy{HOT:...}

Les politiques de stockage vous permettent de définir différents niveaux de stockage en fonction des modèles d'accès aux données, des exigences de performance et des considérations de coût. Par exemple, la politique "HOT" peut être utilisée pour les données fréquemment consultées, tandis que la politique "COLD" peut être utilisée pour les données d'archivage.

Définir et obtenir la politique de stockage d'un répertoire

Dans cette étape, vous allez apprendre à définir une politique de stockage spécifique pour un répertoire dans Hadoop.

Tout d'abord, créez un nouveau répertoire dans HDFS :

hdfs dfs -mkdir /example

Ensuite, définissez la politique de stockage spécifique pour le répertoire /example sur la politique "WARM" que vous avez créée dans l'étape précédente :

hdfs storagepolicies -setStoragePolicy -path /example -policy WARM

Cette commande définit la politique de stockage "WARM" comme la politique spécifique pour le répertoire /example et tous ses sous-répertoires et fichiers.

Vous pouvez vérifier la politique de stockage pour le répertoire en utilisant la commande hdfs storagepolicies :

hdfs storagepolicies -getStoragePolicy -path /example

La sortie devrait afficher la politique "WARM" comme la politique de stockage pour le répertoire /example.

Définir et obtenir la politique de stockage d'un fichier

Dans cette étape, vous allez apprendre à déplacer des données existantes dans Hadoop vers une politique de stockage spécifique.

Tout d'abord, créez un fichier d'échantillonnage dans HDFS :

hdfs dfs -touchz /example/sample.txt

Ensuite, vérifiez la politique de stockage actuelle pour le fichier :

hdfs storagepolicies -getStoragePolicy -path /example/sample.txt

La sortie devrait afficher la politique de stockage "WARM", qui est la politique par défaut pour le répertoire /example.

Maintenant, déplaceons le fichier sample.txt vers la politique de stockage "HOT" :

hdfs storagepolicies -setStoragePolicy -path /example/sample.txt -policy HOT

Cette commande change la politique de stockage pour le fichier sample.txt vers la politique de stockage "HOT".

Vous pouvez vérifier la nouvelle politique de stockage pour le fichier en utilisant la commande hdfs storagepolicies :

hdfs storagepolicies -getStoragePolicy -path /example/sample.txt

La sortie devrait maintenant afficher la politique "HOT" pour le fichier sample.txt.

Supprimer la politique de stockage d'un fichier

Dans cette étape, vous allez apprendre à supprimer la politique de stockage pour un fichier spécifique dans Hadoop.

Si vous voulez supprimer la politique de stockage pour le fichier /example/sample.txt, vous pouvez utiliser la commande hdfs storagepolicies :

hdfs storagepolicies -unsetStoragePolicy -path /example/sample.txt

Cette commande supprime la politique de stockage pour le fichier /example/sample.txt, de sorte que le fichier n'a plus une politique de stockage explicite, mais hérite plutôt de la politique du répertoire dans lequel il se trouve ou adopte la politique de stockage par défaut du cluster.

Vous pouvez ensuite utiliser la commande hdfs pour confirmer que la politique de stockage du fichier sample.txt a été supprimée :

hdfs storagepolicies -getStoragePolicy -path /example/sample.txt

La sortie devrait maintenant montrer la politique "WARM" pour le fichier sample.txt, c'est-à-dire la politique du répertoire dans lequel il se trouve.

Sommaire

Félicitations! Vous avez réussi à maîtriser les politiques de stockage Hadoop, ce qui vous permet de gérer efficacement le stockage de données. Grâce à vos nouvelles compétences, vous pouvez optimiser le stockage et la récupération de données dans Hadoop, assurant ainsi l'efficacité et l'efficience économique. Guidé par le sage magicien, vous avez découvert les secrets des politiques de stockage et êtes prêt à affronter tous les défis de stockage de données qui vous seront présentés.