Hadoop FS Shell find

はじめに

この実験では、Hadoop HDFS の世界に深く突き入り、FS Shell の find コマンドに焦点を当てます。古代の寺院を探索して秘宝や秘密を探す考古学者のように自分自身を想像してください。あなたの目標は、寺院で隠された遺物を発見するのと同じように、FS Shell の find コマンドを使って膨大な Hadoop ファイルシステムを探索することです。

環境の設定

このステップでは、FS Shell の find コマンドを使用する前に、Hadoop 環境が適切に設定されていることを確認します。

ターミナルを開き、以下の手順に従って始めましょう。

1. hadoop ユーザーに切り替えます。

   su - hadoop

2. Hadoop のバージョンを確認します。

   hadoop version

3. HDFS のルートディレクトリに example.txt ファイルを作成します。

   echo "This is an example file." | hdfs dfs -put - /example.txt

ファイル情報の取得

このステップでは、Hadoop ファイルシステム内の特定のファイルを見つけるために FS Shell の find コマンドをどのように使用するかを示します。

1. HDFS のルートディレクトリ内で example.txt という名前のファイルを検索します。

   hdfs dfs -find / -name "example.txt"

2. FS Shell の stat コマンドを使用してファイルの情報を取得します。

   hdfs dfs -stat "%n %y %r" /example.txt > /home/hadoop/example_info.txt
   cat /home/hadoop/example_info.txt

hdfs dfs -stat コマンドは、HDFS 内のファイルまたはディレクトリのステータス情報を取得するために使用されます。出力情報をカスタマイズするために、さまざまなフォーマットオプションを使用できます。以下は、一般的に使用されるフォーマットオプションとその意味です。

• %b：バイト単位のファイルサイズ。
• %n：ファイル名。
• %o：ブロックサイズ。
• %r：レプリケーションファクター。
• %u：ユーザー名。
• %g：グループ名。
• %y：yyyy-MM-dd HH:mm:ss 形式の変更日時。
• %F：ファイルタイプ（ファイル、ディレクトリ、またはシンボリックリンク）。

ディレクトリの分析

このステップでは、FS Shell の find を使用してディレクトリとその内容を分析する方法を探ります。

1. /user ディレクトリ以下のすべてのディレクトリを一覧表示します。

   hdfs dfs -ls /user

2. /user ディレクトリ以下に superDirectory という名前のディレクトリを作成し、そのパーミッションを 777 (rwxrwxrwx) に設定します。

   hdfs dfs -mkdir /user/superDirectory
   hdfs dfs -chmod 777 /user/superDirectory

3. FS Shell の find を使用して superDirectory を見つけます。

   hdfs dfs -find /user -name "superDirectory"

4. FS Shell を使用して特定のパーミッションを持つディレクトリを特定します。

   hdfs dfs -ls /user | grep '^drwxrwxrwx'

まとめ

この実験では、Hadoop HDFS の世界に浸り、FS Shell の find コマンドの機能を探りました。寺院での考古学的探検をシミュレートすることで、Hadoop ファイルシステム内のファイルやディレクトリを効果的に検索し分析する方法を学びました。この実践的な経験は、Hadoop における複雑なデータ構造の管理とナビゲーションに関する洞察を提供し、HDFS 操作の理解を深めました。