Hadoop FS Shell expunge

HadoopHadoopBeginner
立即练习

💡 本教程由 AI 辅助翻译自英文原版。如需查看原文,您可以 切换至英文原版

介绍

欢迎来到我们激动人心的实验,场景设定在一个星际基地中,你将扮演一名熟练的星际通信专家。在这个场景中,你的任务是使用 Hadoop HDFS 的 FS Shell expunge 命令来管理数据完整性并优化存储利用率。你的使命是确保高效清理不必要的文件和目录,以释放存储空间并提升系统性能。


Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("`Hadoop`")) -.-> hadoop/HadoopHDFSGroup(["`Hadoop HDFS`"]) hadoop/HadoopHDFSGroup -.-> hadoop/hdfs_setup("`HDFS Setup`") hadoop/HadoopHDFSGroup -.-> hadoop/fs_ls("`FS Shell ls`") hadoop/HadoopHDFSGroup -.-> hadoop/fs_rm("`FS Shell rm`") hadoop/HadoopHDFSGroup -.-> hadoop/fs_expunge("`FS Shell expunge`") subgraph Lab Skills hadoop/hdfs_setup -.-> lab-271869{{"`Hadoop FS Shell expunge`"}} hadoop/fs_ls -.-> lab-271869{{"`Hadoop FS Shell expunge`"}} hadoop/fs_rm -.-> lab-271869{{"`Hadoop FS Shell expunge`"}} hadoop/fs_expunge -.-> lab-271869{{"`Hadoop FS Shell expunge`"}} end

启用和配置 HDFS 回收站功能

在这一步骤中,让我们从访问 Hadoop FS Shell 并检查 Hadoop 分布式文件系统(HDFS)中的当前文件和目录开始。

  1. 打开终端并切换到 hadoop 用户:

    su - hadoop
  2. 修改 /home/hadoop/hadoop/etc/hadoop/core-site.xml 文件以启用回收站功能:

    nano /home/hadoop/hadoop/etc/hadoop/core-site.xml

    <configuration> 标签之间添加以下属性:

     <property>
         <name>fs.trash.interval</name>
         <value>1440</value>
     </property>
     <property>
         <name>fs.trash.checkpoint.interval</name>
         <value>1440</value>
     </property>

    保存文件并退出文本编辑器。

  3. 重启 HDFS 服务:

    停止 HDFS 服务:

    /home/hadoop/hadoop/sbin/stop-dfs.sh

    启动 HDFS 服务:

    /home/hadoop/hadoop/sbin/start-dfs.sh
  4. 在 HDFS 中创建文件并删除它:

    在 HDFS 中创建一个文件:

    hdfs dfs -touchz /user/hadoop/test.txt

    删除该文件:

    hdfs dfs -rm /user/hadoop/test.txt
  5. 检查回收站功能是否已启用:

    hdfs dfs -ls /user/hadoop/.Trash/Current/user/hadoop/

    你应该能在回收站目录中看到你删除的文件。

清理不必要的文件

现在,让我们继续使用 FS Shell 的 expunge 命令清理不必要的文件和目录。

  1. 清理所有回收站检查点:

    hdfs dfs -expunge -immediate
  2. 验证不必要的文件是否已成功清理:

    hdfs dfs -ls /user/hadoop/.Trash

    应该不会列出任何文件或目录。

总结

在本实验中,我们深入探讨了 Hadoop FS Shell 的 expunge 命令的强大功能,用于管理和优化 Hadoop 分布式文件系统(HDFS)中的数据存储。通过学习如何启动 FS Shell、查看当前文件以及清理不必要的数据,你已经掌握了维护数据完整性和提升系统性能的关键技能。通过实践这些技能,你将能够高效管理 Hadoop 环境并确保系统平稳运行。

您可能感兴趣的其他 Hadoop 教程