Hadoop FS Shell Expunge：轻松优化 HDFS 存储

介绍

欢迎来到我们激动人心的实验，场景设定在一个星际基地中，你将扮演一名熟练的星际通信专家。在这个场景中，你的任务是使用 Hadoop HDFS 的 FS Shell expunge 命令来管理数据完整性并优化存储利用率。你的使命是确保高效清理不必要的文件和目录，以释放存储空间并提升系统性能。

启用和配置 HDFS 回收站功能

在这一步骤中，让我们从访问 Hadoop FS Shell 并检查 Hadoop 分布式文件系统（HDFS）中的当前文件和目录开始。

打开终端并切换到 hadoop 用户：
```
su - hadoop
```

修改 /home/hadoop/hadoop/etc/hadoop/core-site.xml 文件以启用回收站功能：

nano /home/hadoop/hadoop/etc/hadoop/core-site.xml

在 <configuration> 标签之间添加以下属性：

 <property>
     <name>fs.trash.interval</name>
     <value>1440</value>
 </property>
 <property>
     <name>fs.trash.checkpoint.interval</name>
     <value>1440</value>
 </property>

保存文件并退出文本编辑器。

重启 HDFS 服务：

停止 HDFS 服务：

/home/hadoop/hadoop/sbin/stop-dfs.sh

启动 HDFS 服务：

/home/hadoop/hadoop/sbin/start-dfs.sh

在 HDFS 中创建文件并删除它：

在 HDFS 中创建一个文件：
```
hdfs dfs -touchz /user/hadoop/test.txt
```
删除该文件：
```
hdfs dfs -rm /user/hadoop/test.txt
```
检查回收站功能是否已启用：
```
hdfs dfs -ls /user/hadoop/.Trash/Current/user/hadoop/
```
你应该能在回收站目录中看到你删除的文件。

清理不必要的文件

现在，让我们继续使用 FS Shell 的 expunge 命令清理不必要的文件和目录。

清理所有回收站检查点：
```
hdfs dfs -expunge -immediate
```
验证不必要的文件是否已成功清理：
```
hdfs dfs -ls /user/hadoop/.Trash
```
应该不会列出任何文件或目录。

总结

在本实验中，我们深入探讨了 Hadoop FS Shell 的 expunge 命令的强大功能，用于管理和优化 Hadoop 分布式文件系统（HDFS）中的数据存储。通过学习如何启动 FS Shell、查看当前文件以及清理不必要的数据，你已经掌握了维护数据完整性和提升系统性能的关键技能。通过实践这些技能，你将能够高效管理 Hadoop 环境并确保系统平稳运行。

Hadoop FS Shell expunge

介绍

启用和配置 HDFS 回收站功能

清理不必要的文件

总结