Hadoop FS Shell du

Введение

Представьте себе ситуацию, когда вы находитесь на космической торговой станции в качестве сборщика космических ресурсов. Ваша задача - эффективно управлять и анализировать данные, хранящиеся в Hadoop HDFS, с использованием команды du в Hadoop FS Shell. Изучив, как использовать du, вы сможете получить информацию о использовании диска для файлов и директорий в вашем HDFS.

Получение информации о использовании диска

В этом шаге вы узнаете, как использовать команду du для отображения информации о использовании диска для файлов и директорий в Hadoop HDFS.

Откройте терминал и следуйте шагам ниже, чтобы начать.

1. Переключитесь на пользователя Hadoop:

   su - hadoop
   

2. В домашнем каталоге вашего HDFS создайте примерную директорию и файл:

   hdfs dfs -mkdir /user/hadoop/sample_dir
   

   echo "sample_file" | hdfs dfs -appendToFile - /user/hadoop/sample_dir/sample_file.txt
   

3. Проверьте использование диска для директории sample_dir и введите результаты в текстовый файл:

   hdfs dfs -du -v /user/hadoop/sample_dir > /home/hadoop/du_result.txt
   

4. Вывод будет отображать использование диска для директории sample_dir в человекочитаемом формате.

   cat /home/hadoop/du_result.txt
   

   Вывод:

   SIZE DISK_SPACE_CONSUMED_WITH_ALL_REPLICAS FULL_PATH_NAME
   12 12 /user/hadoop/sample_dir/sample_file.txt
   

Рекурсивный анализ использования диска

В этом шаге вы расширите свои знания о du, чтобы проанализировать использование диска рекурсивно для директорий в Hadoop HDFS.

1. Создайте поддиректории и файлы внутри директории sample_dir:

   hdfs dfs -mkdir /user/hadoop/sample_dir/sub_dir
   

   echo "sub_file" | hdfs dfs -appendToFile - /user/hadoop/sample_dir/sub_dir/sub_file.txt
   

2. Проверьте использование диска для директории sample_dir, включая ее поддиректории:

   hdfs dfs -du -s -v /user/hadoop/sample_dir > /home/hadoop/du_result2.txt
   

3. Вывод будет отображать общее использование диска для директории sample_dir, включая ее поддиректории.

   cat /home/hadoop/du_result2.txt
   

   Вывод:

   SIZE DISK_SPACE_CONSUMED_WITH_ALL_REPLICAS FULL_PATH_NAME
   21 21 /user/hadoop/sample_dir
   

Резюме

В этом лабе мы сосредоточились на использовании команды du в Hadoop FS Shell для получения информации о использовании диска для файлов и директорий в Hadoop HDFS. Освоив эту команду, вы можете эффективно управлять и анализировать потребление хранилища в вашем кластере Hadoop. Эта лабораторная работа была направлена на предоставление практического опыта и знаний для новичков, желающих повысить свои навыки в управлении Hadoop HDFS.