Hadoop FS Shell expunge

Введение

Добро пожаловать в наш увлекательный лабораторный комплекс, расположен на межзвездной базе, где вы играете роль опытного межгалактического коммуникатора. В данной ситуации вам предстоит управлять Hadoop HDFS с использованием команды expunge в FS Shell для поддержания целостности данных и оптимизации использования хранилища. Ваша миссия - обеспечить эффективное удаление ненужных файлов и директорий, чтобы освободить место на диске и повысить производительность системы.

Включение и настройка функции корзины HDFS

В этом шаге давайте начнем с доступа к Hadoop FS Shell и изучения текущих файлов и директорий в Hadoop Distributed File System.

1. Откройте терминал и переключитесь на пользователя hadoop:

   su - hadoop
   

2. Редактируем /home/hadoop/hadoop/etc/hadoop/core-site.xml, чтобы включить функцию корзины:

   nano /home/hadoop/hadoop/etc/hadoop/core-site.xml
   

   Добавьте следующую настройку между тегами <configuration>:

    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
    <property>
        <name>fs.trash.checkpoint.interval</name>
        <value>1440</value>
    </property>
   

   Сохраните файл и выйдите из текстового редактора.

3. Перезапустите службу HDFS:

   Остановите службу HDFS:

   /home/hadoop/hadoop/sbin/stop-dfs.sh
   

   Запустите службу HDFS:

   /home/hadoop/hadoop/sbin/start-dfs.sh
   

4. Создайте файл и удалите его в HDFS:

   Создайте файл в HDFS:

   hdfs dfs -touchz /user/hadoop/test.txt
   

   Удалите файл:

   hdfs dfs -rm /user/hadoop/test.txt
   

5. Проверьте, включена ли функция корзины:

   hdfs dfs -ls /user/hadoop/.Trash/Current/user/hadoop/
   

   Вы должны увидеть удаленный вами файл в директории корзины.

Удалить ненужные файлы

Теперь давайте приступим к удалению ненужных файлов и директорий с использованием команды expunge в FS Shell.

1. Удалите все контрольные точки корзины:

   hdfs dfs -expunge -immediate
   

2. Проверьте, успешно ли удалены ненужные файлы:

   hdfs dfs -ls /user/hadoop/.Trash
   

   Список файлов и директорий не должен быть пустым. （这里原文有误，按照原意翻译应该是：列出的文件或目录应该为空。）

Резюме

В этом лабораторном занятии мы рассмотрели мощь команды expunge в Hadoop FS Shell для управления и оптимизации хранения данных в Hadoop Distributed File System. Изучив, как запускать FS Shell, просматривать текущие файлы и удалять ненужные данные, вы приобрели ценные знания о том, как поддерживать целостность данных и повысить производительность системы. Практика этих навыков поможет вам эффективно управлять своей Hadoop-환 vironment и обеспечить беспрепятственный процесс работы.