Hadoop HDFS のセットアップ

はじめに

砂漠の廃墟の真ん中にいて、災害予言者と呼ばれる神話的な人物から助けを求めているシナリオを想像してみてください。災害予言者は、Hadoop HDFS インフラストラクチャを正しく構築することでのみ回避できる大惨事を予見しています。あなたの目標は、データ王国の安全を確保するために予言者の指示に従うことです。

HDFS 構成の初期化

このステップでは、データの保存と処理の準備をするために、Hadoop HDFS を構成します。

ターミナルを開き、以下の手順に従って始めましょう。

1. 適切な権限を持つ Hadoop ユーザーに切り替えます。

   su - hadoop
   

2. HDFS データを保存するディレクトリを作成します。

   hdfs dfs -mkdir /home/hadoop/data
   

HDFS にデータをアップロードする

次に、構成済みの HDFS ディレクトリにサンプル データをアップロードします。

1. サンプル データを含むローカル ファイルを作成します。

   echo 'Hello, Hadoop World!' > /tmp/sample.txt
   

2. ローカル ファイルを HDFS にアップロードします。

   hdfs dfs -put /tmp/sample.txt /home/hadoop/data
   

3. HDFS にファイルが存在するかどうかを確認します。

   hdfs dfs -ls /home/hadoop/data
   

データレプリケーション管理

このステップでは、HDFS がデータレプリケーションをどのように処理するかを調べます。

1. アップロードされたファイルのレプリケーション状況を確認します。

   hdfs fsck /home/hadoop/data/sample.txt -files -blocks -locations
   

2. ファイルのレプリケーション ファクターを 2 に変更します。

   hdfs dfs -setrep -R 2 /home/hadoop/data/sample.txt
   

まとめ

この実験では、参加者が砂漠の廃墟で災害予言者と対話して、Hadoop HDFS のセットアップを学び練習する没入型のシナリオを設計しました。この実験で示された手順に従うことで、ユーザーは HDFS の構成、データのアップロード、およびデータレプリケーションの管理に関する実践的な経験を得ます。この実験は、Hadoop HDFS のセットアップに関する包括的な紹介を提供することを目的としており、ユーザーが関係する重要な概念と操作を実践的に理解できるようにすることができます。