Gestión de cuotas de Hadoop

Introducción

En este laboratorio, aprenderá a administrar la capacidad limitada de almacenamiento de una caravana de camellos en el desierto árabe, incluyendo cuotas de espacio versus cuotas de nombre. Tendrá la tarea de tener que planificar y asignar con cuidado el espacio de carga para garantizar la seguridad y la integridad del transporte de cargas preciosas, como especias y seda fina.

Skills Graph

Explorar los límites de almacenamiento actuales

En este paso, explorará el uso actual de almacenamiento del Hadoop Distributed File System (HDFS) y familiarizarse con los directorios y archivos existentes.

1. Cambie al usuario hadoop usando el comando su - hadoop. Luego, use el siguiente código para crear archivos y directorios:

hdfs dfs -mkdir -p /cargo_space/fine_silks
hdfs dfs -touchz /cargo_space/spices.txt

2. Use el siguiente código para ver los archivos y directorios creados:

hdfs dfs -ls -R /cargo_space

Este comando listará el contenido del directorio /cargo_space.

3. Consulte la información estadística detallada del directorio especificado en HDFS y muestre la situación de la cuota:

hdfs dfs -count -q /cargo_space

A continuación, se explica el comando anterior:

• hdfs: representa la herramienta de línea de comandos del sistema de archivos distribuido de Hadoop.
• dfs: representa el conjunto de comandos que operan en el sistema de archivos distribuido.
• -count: esta opción se utiliza para contar el número de archivos y el número de directorios en el directorio especificado.
• -q: este parámetro indica que se debe mostrar la información de cuota para el directorio. La información de cuota incluye los límites de espacio de almacenamiento y de número de archivos establecidos por el sistema de archivos para el directorio.
• /cargo_space: esta es la ruta al directorio destino de la operación del comando.

Verá los siguientes resultados:

none             inf            none             inf            2            1                  0 /cargo_space

Los resultados se explican en orden como sigue:

• none: no hay límite para la cuota de número de archivos (es decir, cuota de nombre).
• inf: el número de archivos restantes bajo el límite es infinito.
• none: la cuota de espacio en disco no tiene límite.
• inf: el espacio restante bajo el límite es ilimitado.
• 2: El número de archivos o directorios en el directorio /cargo_space es 2.
• 1: Los datos almacenados en /cargo_space ocupan 1 unidad de almacenamiento.
• 0 /cargo_space: El directorio /cargo_space tiene un uso adicional de espacio en disco de 0 bytes.

Establecer una cuota de espacio para un directorio

En este paso, aprenderá a establecer una cuota de espacio para un directorio en HDFS, lo que limitará el uso total de espacio en disco para ese directorio y sus subdirectorios.

1. Establezca una cuota de 1 GB (1073741824 bytes) para el directorio /cargo_space ejecutando:

hdfs dfsadmin -setSpaceQuota 1073741824 /cargo_space

Este comando establece una cuota de espacio en disco de 1 GB para el directorio /cargo_space y sus subdirectorios.

2. Consulte la información estadística detallada del directorio especificado en HDFS y muestre la situación de la cuota:

hdfs dfs -count -q /cargo_space

Establecer una cuota de nombre para un directorio

Además de establecer una cuota de espacio en disco, HDFS también te permite establecer una cuota para el número máximo de archivos y directorios dentro de un directorio. En este paso, aprenderás a establecer esta cuota de nombre.

1. Establece una cuota de 10 archivos/directorios para el directorio /cargo_space ejecutando:

hdfs dfsadmin -setQuota 10 /cargo_space

Este comando establece una cuota de nombre de 10 archivos y directorios para el directorio /cargo_space y sus subdirectorios.

2. Para verificar la cuota, ejecuta el siguiente comando:

hdfs dfs -count -q /cargo_space

Este comando mostrará el número actual de archivos y directorios, así como el límite de cuota para el directorio especificado.

Eliminar límites de cuota de directorios

En este paso, aprenderá a eliminar los límites de cuota de directorios en HDFS, lo que incluye tanto las cuotas de espacio en disco como las cuotas de nombre establecidas previamente.

Eliminar cuotas de espacio en disco

1. Para el directorio /cargo_space, ejecute el siguiente comando para eliminar su cuota de espacio en disco:

hdfs dfsadmin -clrSpaceQuota /cargo_space

Este comando elimina el límite de cuota de espacio en disco para el directorio /cargo_space y sus subdirectorios.

2. Para confirmar que la cuota ha sido eliminada, consulte las estadísticas detalladas del directorio especificado y muestre la cuota:

hdfs dfs -count -q /cargo_space

Eliminar cuota de nombre

1. Para el directorio /cargo_space, ejecute el siguiente comando para eliminar sus cuotas de recuento de archivos y directorios:

hdfs dfsadmin -clrQuota /cargo_space

Este comando elimina los límites de cuota de archivos y directorios para el directorio /cargo_space y sus subdirectorios.

2. Para verificar que la cuota ha sido eliminada, ejecute el siguiente comando:

hdfs dfs -count -q /cargo_space

En este momento, puede asegurarse de que el directorio /cargo_space ya no está sujeto a los límites de cuota establecidos previamente.

Resumen

¡Felicidades! Has completado con éxito el laboratorio de gestión de cuotas de Hadoop, dominando las técnicas básicas para administrar los recursos de almacenamiento en el Hadoop Distributed File System (HDFS). A través del escenario de Camelot, has aprendido cómo explorar el uso actual de almacenamiento, implementar cuotas de espacio y cuotas de nombre. Esta experiencia práctica no solo mejora tus habilidades prácticas, sino que también destaca la importancia de la gestión eficiente de recursos en sistemas distribuidos como Hadoop.