介绍
欢迎来到我们激动人心的实验,场景设定在一个星际基地中,你将扮演一名熟练的星际通信专家。在这个场景中,你的任务是使用 Hadoop HDFS 的 FS Shell expunge 命令来管理数据完整性并优化存储利用率。你的使命是确保高效清理不必要的文件和目录,以释放存储空间并提升系统性能。
欢迎来到我们激动人心的实验,场景设定在一个星际基地中,你将扮演一名熟练的星际通信专家。在这个场景中,你的任务是使用 Hadoop HDFS 的 FS Shell expunge 命令来管理数据完整性并优化存储利用率。你的使命是确保高效清理不必要的文件和目录,以释放存储空间并提升系统性能。
在这一步骤中,让我们从访问 Hadoop FS Shell 并检查 Hadoop 分布式文件系统(HDFS)中的当前文件和目录开始。
打开终端并切换到 hadoop
用户:
su - hadoop
修改 /home/hadoop/hadoop/etc/hadoop/core-site.xml
文件以启用回收站功能:
nano /home/hadoop/hadoop/etc/hadoop/core-site.xml
在 <configuration>
标签之间添加以下属性:
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
<property>
<name>fs.trash.checkpoint.interval</name>
<value>1440</value>
</property>
保存文件并退出文本编辑器。
重启 HDFS 服务:
停止 HDFS 服务:
/home/hadoop/hadoop/sbin/stop-dfs.sh
启动 HDFS 服务:
/home/hadoop/hadoop/sbin/start-dfs.sh
在 HDFS 中创建文件并删除它:
在 HDFS 中创建一个文件:
hdfs dfs -touchz /user/hadoop/test.txt
删除该文件:
hdfs dfs -rm /user/hadoop/test.txt
检查回收站功能是否已启用:
hdfs dfs -ls /user/hadoop/.Trash/Current/user/hadoop/
你应该能在回收站目录中看到你删除的文件。
现在,让我们继续使用 FS Shell 的 expunge 命令清理不必要的文件和目录。
清理所有回收站检查点:
hdfs dfs -expunge -immediate
验证不必要的文件是否已成功清理:
hdfs dfs -ls /user/hadoop/.Trash
应该不会列出任何文件或目录。
在本实验中,我们深入探讨了 Hadoop FS Shell 的 expunge 命令的强大功能,用于管理和优化 Hadoop 分布式文件系统(HDFS)中的数据存储。通过学习如何启动 FS Shell、查看当前文件以及清理不必要的数据,你已经掌握了维护数据完整性和提升系统性能的关键技能。通过实践这些技能,你将能够高效管理 Hadoop 环境并确保系统平稳运行。