Hadoop FS Shell expunge

はじめに

私たちの興味深い実験にようこそ。ここでは、あなたは熟練した銀河間コミュニケーターの役割を演じます。このシナリオでは、Hadoop HDFS を管理するために FS Shell の expunge コマンドを使用して、データの整合性を維持し、ストレージの利用率を最適化することが求められます。あなたのミッションは、不要なファイルやディレクトリを効率的にクリーンアップして、ストレージ空間を解放し、システムのパフォーマンスを向上させることです。

HDFS のゴミ箱機能の有効化と設定

このステップでは、まず Hadoop FS Shell にアクセスして、Hadoop 分散ファイルシステム内の現在のファイルとディレクトリを確認しましょう。

1. ターミナルを開き、hadoop ユーザーに切り替えます。

   su - hadoop
   

2. /home/hadoop/hadoop/etc/hadoop/core-site.xml を編集して、ゴミ箱機能を有効にします。

   nano /home/hadoop/hadoop/etc/hadoop/core-site.xml
   

   <configuration> タグの間に次のプロパティを追加します。

    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
    <property>
        <name>fs.trash.checkpoint.interval</name>
        <value>1440</value>
    </property>
   

   ファイルを保存して、テキストエディタを終了します。

3. HDFS サービスを再起動します。

   HDFS サービスを停止します。

   /home/hadoop/hadoop/sbin/stop-dfs.sh
   

   HDFS サービスを起動します。

   /home/hadoop/hadoop/sbin/start-dfs.sh
   

4. HDFS 内にファイルを作成して削除します。

   HDFS 内にファイルを作成します。

   hdfs dfs -touchz /user/hadoop/test.txt
   

   ファイルを削除します。

   hdfs dfs -rm /user/hadoop/test.txt
   

5. ゴミ箱機能が有効になっているか確認します。

   hdfs dfs -ls /user/hadoop/.Trash/Current/user/hadoop/
   

   ゴミ箱ディレクトリに削除したファイルが表示されるはずです。

不要なファイルを削除する

次に、FS Shell の expunge コマンドを使用して、不要なファイルとディレクトリを削除しましょう。

1. すべてのゴミ箱チェックポイントを削除する

   hdfs dfs -expunge -immediate
   

2. 不要なファイルが正常に削除されたことを確認する

   hdfs dfs -ls /user/hadoop/.Trash
   

   ファイルやディレクトリが表示されないはずです。

まとめ

この実験では、Hadoop 分散ファイルシステムにおけるデータストレージの管理と最適化における Hadoop FS Shell の expunge コマンドの威力を探究しました。FS Shell を起動し、現在のファイルを表示し、不要なデータを削除する方法を学ぶことで、データの整合性を維持し、システムのパフォーマンスを向上させるための貴重な洞察を得ました。これらのスキルを練習することで、効率的に Hadoop 環境を管理し、スムーズな操作を確保することができます。