Dominar las políticas de almacenamiento de Hadoop para una gestión eficiente de datos

Introducción

En este laboratorio, aprenderás cómo dominar las políticas de almacenamiento de Hadoop, desvelando los secretos escondidos en las vastas arenas doradas del desierto árido. Emprenderás un viaje en el que un sabio hechicero te desafiará a aprovechar el poder de estas políticas, lo que te permitirá gestionar de manera eficiente el almacenamiento de datos en Hadoop. Adquiere habilidades invaluable para almacenar y recuperar datos en diferentes niveles, optimizando tanto el rendimiento como la rentabilidad.

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopHiveGroup(["Hadoop Hive"]) hadoop(("Hadoop")) -.-> hadoop/HadoopHDFSGroup(["Hadoop HDFS"]) hadoop/HadoopHDFSGroup -.-> hadoop/hdfs_setup("HDFS Setup") hadoop/HadoopHDFSGroup -.-> hadoop/fs_mkdir("FS Shell mkdir") hadoop/HadoopHDFSGroup -.-> hadoop/fs_test("FS Shell test") hadoop/HadoopHDFSGroup -.-> hadoop/fs_stat("FS Shell stat") hadoop/HadoopHDFSGroup -.-> hadoop/storage_policies("Storage Policies Management") hadoop/HadoopHiveGroup -.-> hadoop/storage_formats("Choosing Storage Formats") subgraph Lab Skills hadoop/hdfs_setup -.-> lab-289000{{"Gestión de políticas de almacenamiento de Hadoop"}} hadoop/fs_mkdir -.-> lab-289000{{"Gestión de políticas de almacenamiento de Hadoop"}} hadoop/fs_test -.-> lab-289000{{"Gestión de políticas de almacenamiento de Hadoop"}} hadoop/fs_stat -.-> lab-289000{{"Gestión de políticas de almacenamiento de Hadoop"}} hadoop/storage_policies -.-> lab-289000{{"Gestión de políticas de almacenamiento de Hadoop"}} hadoop/storage_formats -.-> lab-289000{{"Gestión de políticas de almacenamiento de Hadoop"}} end

Comprender las políticas de almacenamiento en Hadoop

En este paso, aprenderás sobre el concepto de políticas de almacenamiento en Hadoop y cómo se pueden utilizar para gestionar el almacenamiento de datos en diferentes niveles de almacenamiento.

Cambia de usuario para acceder al sistema de archivos de Hadoop utilizando el comando su - hadoop. Luego, lista las políticas de almacenamiento disponibles:

hdfs storagepolicies -listPolicies

La salida debe mostrar las políticas de almacenamiento predeterminadas disponibles en tu clúster de Hadoop. Aquí tienes una salida de ejemplo:

Block Storage Policies:
BlockStoragePolicy{PROVIDED:...}
BlockStoragePolicy{COLD:...}
BlockStoragePolicy{WARM:...}
BlockStoragePolicy{HOT:...}

Las políticas de almacenamiento te permiten definir diferentes niveles de almacenamiento basados en patrones de acceso a los datos, requisitos de rendimiento y consideraciones de costo. Por ejemplo, la política "HOT" se puede utilizar para datos de acceso frecuente, mientras que la política "COLD" se puede utilizar para datos de archivo.

Establecer y obtener la política de almacenamiento de un directorio

En este paso, aprenderás cómo establecer una política de almacenamiento específica para un directorio en Hadoop.

Primero, crea un nuevo directorio en HDFS:

hdfs dfs -mkdir /example

A continuación, establece la política de almacenamiento específica para el directorio /example a la política "WARM" que creaste en el paso anterior:

hdfs storagepolicies -setStoragePolicy -path /example -policy WARM

Este comando establece la política de almacenamiento "WARM" como la política específica para el directorio /example y todos sus subdirectorios y archivos.

Puedes verificar la política de almacenamiento del directorio utilizando el comando hdfs storagepolicies:

hdfs storagepolicies -getStoragePolicy -path /example

La salida debe mostrar la política "WARM" como la política de almacenamiento para el directorio /example.

Establecer y obtener la política de almacenamiento de un archivo

En este paso, aprenderás cómo mover datos existentes en Hadoop a una política de almacenamiento específica.

Primero, crea un archivo de muestra en HDFS:

hdfs dfs -touchz /example/sample.txt

A continuación, verifica la política de almacenamiento actual del archivo:

hdfs storagepolicies -getStoragePolicy -path /example/sample.txt

La salida debe mostrar la política de almacenamiento "WARM", que es la política predeterminada para el directorio /example.

Ahora, movamos el archivo sample.txt a la política de almacenamiento "HOT":

hdfs storagepolicies -setStoragePolicy -path /example/sample.txt -policy HOT

Este comando cambia la política de almacenamiento del archivo sample.txt a la política de almacenamiento "HOT".

Puedes verificar la nueva política de almacenamiento del archivo utilizando el comando hdfs storagepolicies:

hdfs storagepolicies -getStoragePolicy -path /example/sample.txt

La salida ahora debe mostrar la política "HOT" para el archivo sample.txt.

Eliminar la política de almacenamiento de un archivo

En este paso, aprenderás cómo eliminar la política de almacenamiento de un archivo específico en Hadoop.

Si deseas eliminar la política de almacenamiento del archivo /example/sample.txt, puedes utilizar el comando hdfs storagepolicies:

hdfs storagepolicies -unsetStoragePolicy -path /example/sample.txt

Este comando elimina la política de almacenamiento del archivo /example/sample.txt, de modo que el archivo ya no tiene una política de almacenamiento explícita, sino que hereda la política del directorio en el que se encuentra o adopta la política de almacenamiento predeterminada del clúster.

Luego, puedes utilizar el comando hdfs para confirmar que se ha eliminado la política de almacenamiento del archivo sample.txt:

hdfs storagepolicies -getStoragePolicy -path /example/sample.txt

La salida ahora debe mostrar la política "WARM" para el archivo sample.txt, es decir, la política del directorio en el que se encuentra.

Resumen

¡Felicidades! Has dominado con éxito las políticas de almacenamiento de Hadoop, lo que te permite gestionar de manera efectiva el almacenamiento de datos. Con tus nuevas habilidades, puedes optimizar el almacenamiento y recuperación de datos en Hadoop, asegurando la eficiencia y rentabilidad. Guiado por el sabio hechicero, has descubierto los secretos de las políticas de almacenamiento y estás listo para enfrentar cualquier desafío de almacenamiento de datos que se presente.