はじめに
この実験では、広大なアラビア砂漠の黄金色の砂の中に秘められた秘密を解き明かし、Hadoop のストレージ ポリシーをマスターする方法を学びます。賢い魔法使いがあなたにこれらのポリシーの力を活用して、Hadoop でのデータ ストレージの効率的な管理を可能にするチャレンジを与えます。さまざまな階層間でデータを保存および取得し、パフォーマンスと費用対効果を最適化するための貴重なスキルを身につけましょう。
Hadoop におけるストレージ ポリシーの理解
このステップでは、Hadoop のストレージ ポリシーの概念と、さまざまなストレージ階層間でデータ ストレージを管理するためにどのように使用できるかについて学びます。
su - hadoop コマンドを使用してユーザーを切り替えて Hadoop ファイル システムにアクセスします。次に、利用可能なストレージ ポリシーを一覧表示します。
hdfs storagepolicies -listPolicies
出力には、Hadoop クラスタにある既定のストレージ ポリシーが表示されるはずです。以下はサンプル出力です。
ブロック ストレージ ポリシー:
BlockStoragePolicy{PROVIDED:...}
BlockStoragePolicy{COLD:...}
BlockStoragePolicy{WARM:...}
BlockStoragePolicy{HOT:...}
ストレージ ポリシーを使用すると、データ アクセス パターン、パフォーマンス要件、およびコストの観点からさまざまなストレージ階層を定義できます。たとえば、「HOT」ポリシーは頻繁にアクセスされるデータに使用でき、「COLD」ポリシーはアーカイブ データに使用できます。
ディレクトリのストレージ ポリシーの設定と取得
このステップでは、Hadoop のディレクトリに特定のストレージ ポリシーを設定する方法を学びます。
まず、HDFS に新しいディレクトリを作成します。
hdfs dfs -mkdir /example
次に、前のステップで作成した「WARM」ポリシーに /example ディレクトリの特定のストレージ ポリシーを設定します。
hdfs storagepolicies -setStoragePolicy -path /example -policy WARM
このコマンドは、「WARM」ストレージ ポリシーを /example ディレクトリとそのサブディレクトリおよびファイルの特定のポリシーとして設定します。
hdfs storagepolicies コマンドを使用して、ディレクトリのストレージ ポリシーを確認できます。
hdfs storagepolicies -getStoragePolicy -path /example
出力には、/example ディレクトリのストレージ ポリシーとして「WARM」ポリシーが表示されるはずです。
ファイルのストレージ ポリシーの設定と取得
このステップでは、Hadoop 内の既存のデータを特定のストレージ ポリシーに移動する方法を学びます。
まず、HDFS にサンプル ファイルを作成します。
hdfs dfs -touchz /example/sample.txt
次に、ファイルの現在のストレージ ポリシーを確認します。
hdfs storagepolicies -getStoragePolicy -path /example/sample.txt
出力には、/example ディレクトリの既定のポリシーである「WARM」ストレージ ポリシーが表示されるはずです。
次に、sample.txt ファイルを「HOT」ストレージ ポリシーに移動しましょう。
hdfs storagepolicies -setStoragePolicy -path /example/sample.txt -policy HOT
このコマンドは、sample.txt ファイルのストレージ ポリシーを「HOT」ストレージ ポリシーに変更します。
hdfs storagepolicies コマンドを使用して、ファイルの新しいストレージ ポリシーを確認できます。
hdfs storagepolicies -getStoragePolicy -path /example/sample.txt
出力には、現在、sample.txt ファイルの「HOT」ポリシーが表示されるはずです。
ファイルからストレージ ポリシーを削除する
このステップでは、Hadoop の特定のファイルのストレージ ポリシーを削除する方法を学びます。
/example/sample.txt ファイルのストレージ ポリシーを削除したい場合は、hdfs storagepolicies コマンドを使用できます。
hdfs storagepolicies -unsetStoragePolicy -path /example/sample.txt
このコマンドは、/example/sample.txt ファイルのストレージ ポリシーを削除します。これにより、ファイルは明示的なストレージ ポリシーを持たなくなり、代わりにそのファイルが格納されているディレクトリのポリシーを継承するか、クラスタの既定のストレージ ポリシーを採用します。
その後、hdfs コマンドを使用して、sample.txt ファイルのストレージ ポリシーが削除されたことを確認できます。
hdfs storagepolicies -getStoragePolicy -path /example/sample.txt
出力には、現在、sample.txt ファイルの「WARM」ポリシー、つまりそのファイルが格納されているディレクトリのポリシーが表示されるはずです。
まとめ
おめでとうございます！あなたは Hadoop のストレージ ポリシーをうまくマスターし、データ ストレージの効果的な管理が可能になりました。新しく身につけたスキルを使って、Hadoop 内のデータ ストレージと検索を最適化し、効率と費用対効果を確保できます。賢い魔法使いの導きのもと、あなたはストレージ ポリシーの秘密を解き明かし、あなたの道に立ちはだかるあらゆるデータ ストレージのチャレンジに立ち向かえる準備ができています。
