Добро пожаловать в наш увлекательный лабораторный комплекс, расположен на межзвездной базе, где вы играете роль опытного межгалактического коммуникатора. В данной ситуации вам предстоит управлять Hadoop HDFS с использованием команды expunge в FS Shell для поддержания целостности данных и оптимизации использования хранилища. Ваша миссия - обеспечить эффективное удаление ненужных файлов и директорий, чтобы освободить место на диске и повысить производительность системы.
В этом шаге давайте начнем с доступа к Hadoop FS Shell и изучения текущих файлов и директорий в Hadoop Distributed File System.
Откройте терминал и переключитесь на пользователя hadoop:
su - hadoopРедактируем /home/hadoop/hadoop/etc/hadoop/core-site.xml, чтобы включить функцию корзины:
nano /home/hadoop/hadoop/etc/hadoop/core-site.xmlДобавьте следующую настройку между тегами <configuration>:
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
<property>
<name>fs.trash.checkpoint.interval</name>
<value>1440</value>
</property>Сохраните файл и выйдите из текстового редактора.
Перезапустите службу HDFS:
Остановите службу HDFS:
/home/hadoop/hadoop/sbin/stop-dfs.shЗапустите службу HDFS:
/home/hadoop/hadoop/sbin/start-dfs.shСоздайте файл и удалите его в HDFS:
Создайте файл в HDFS:
hdfs dfs -touchz /user/hadoop/test.txtУдалите файл:
hdfs dfs -rm /user/hadoop/test.txtПроверьте, включена ли функция корзины:
hdfs dfs -ls /user/hadoop/.Trash/Current/user/hadoop/Вы должны увидеть удаленный вами файл в директории корзины.
Теперь давайте приступим к удалению ненужных файлов и директорий с использованием команды expunge в FS Shell.
Удалите все контрольные точки корзины:
hdfs dfs -expunge -immediateПроверьте, успешно ли удалены ненужные файлы:
hdfs dfs -ls /user/hadoop/.TrashСписок файлов и директорий не должен быть пустым. （这里原文有误，按照原意翻译应该是：列出的文件或目录应该为空。）
В этом лабораторном занятии мы рассмотрели мощь команды expunge в Hadoop FS Shell для управления и оптимизации хранения данных в Hadoop Distributed File System. Изучив, как запускать FS Shell, просматривать текущие файлы и удалять ненужные данные, вы приобрели ценные знания о том, как поддерживать целостность данных и повысить производительность системы. Практика этих навыков поможет вам эффективно управлять своей Hadoop-환 vironment и обеспечить беспрепятственный процесс работы.
