はじめに
私たちの興味深い実験にようこそ。ここでは、あなたは熟練した銀河間コミュニケーターの役割を演じます。このシナリオでは、Hadoop HDFS を管理するために FS Shell の expunge コマンドを使用して、データの整合性を維持し、ストレージの利用率を最適化することが求められます。あなたのミッションは、不要なファイルやディレクトリを効率的にクリーンアップして、ストレージ空間を解放し、システムのパフォーマンスを向上させることです。
私たちの興味深い実験にようこそ。ここでは、あなたは熟練した銀河間コミュニケーターの役割を演じます。このシナリオでは、Hadoop HDFS を管理するために FS Shell の expunge コマンドを使用して、データの整合性を維持し、ストレージの利用率を最適化することが求められます。あなたのミッションは、不要なファイルやディレクトリを効率的にクリーンアップして、ストレージ空間を解放し、システムのパフォーマンスを向上させることです。
このステップでは、まず Hadoop FS Shell にアクセスして、Hadoop 分散ファイルシステム内の現在のファイルとディレクトリを確認しましょう。
ターミナルを開き、hadoop
ユーザーに切り替えます。
su - hadoop
/home/hadoop/hadoop/etc/hadoop/core-site.xml
を編集して、ゴミ箱機能を有効にします。
nano /home/hadoop/hadoop/etc/hadoop/core-site.xml
<configuration>
タグの間に次のプロパティを追加します。
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
<property>
<name>fs.trash.checkpoint.interval</name>
<value>1440</value>
</property>
ファイルを保存して、テキストエディタを終了します。
HDFS サービスを再起動します。
HDFS サービスを停止します。
/home/hadoop/hadoop/sbin/stop-dfs.sh
HDFS サービスを起動します。
/home/hadoop/hadoop/sbin/start-dfs.sh
HDFS 内にファイルを作成して削除します。
HDFS 内にファイルを作成します。
hdfs dfs -touchz /user/hadoop/test.txt
ファイルを削除します。
hdfs dfs -rm /user/hadoop/test.txt
ゴミ箱機能が有効になっているか確認します。
hdfs dfs -ls /user/hadoop/.Trash/Current/user/hadoop/
ゴミ箱ディレクトリに削除したファイルが表示されるはずです。
次に、FS Shell の expunge コマンドを使用して、不要なファイルとディレクトリを削除しましょう。
すべてのゴミ箱チェックポイントを削除する
hdfs dfs -expunge -immediate
不要なファイルが正常に削除されたことを確認する
hdfs dfs -ls /user/hadoop/.Trash
ファイルやディレクトリが表示されないはずです。
この実験では、Hadoop 分散ファイルシステムにおけるデータストレージの管理と最適化における Hadoop FS Shell の expunge コマンドの威力を探究しました。FS Shell を起動し、現在のファイルを表示し、不要なデータを削除する方法を学ぶことで、データの整合性を維持し、システムのパフォーマンスを向上させるための貴重な洞察を得ました。これらのスキルを練習することで、効率的に Hadoop 環境を管理し、スムーズな操作を確保することができます。