Hadoop FS シェルの copyFromLocal/get

はじめに

はるか遠い銀河では、異なる勢力間で進行中の宇宙戦争が繰り広げられています。銀河はまた、混沌の中で利益を得ようとする宇宙商人でにぎわっています。私たちの物語は、Hadoop の HDFS ファイルシステムを使って貴重なデータファイルを転送する 1 人の宇宙商人に焦点を当てています。商人の目標は、copyFromLocalコマンドを使ってローカルシステムからファイルを Hadoop に成功裏にコピーし、getコマンドを使って Hadoop からファイルをローカルシステムに取得することです。

Hadoop にファイルをコピーする

このステップでは、宇宙商人は、ローカルシステムからdata.txtという名前のファイルを Hadoop HDFS にコピーする必要があります。

ターミナルを開き、以下の手順に従って始めましょう。

1. 適切な権限のためにhadoopユーザーに切り替えます。

   su - hadoop
   

2. Hadoop にspace_dataという名前のディレクトリを作成します。

   hdfs dfs -mkdir /space_data
   

3. ローカルファイルdata.txtを Hadoop にコピーします。

   hdfs dfs -copyFromLocal /home/hadoop/data.txt /space_data/
   

4. ファイルが正常にコピーされたことを確認します。

   hdfs dfs -ls /space_data
   

Hadoop からファイルを取得する

今、宇宙商人は、Hadoop からファイルdata.txtを取得して、ローカルシステムに保存する必要があります。

1. 取得したファイルを保存するディレクトリに移動します。

   mkdir /home/hadoop/space_data && cd /home/hadoop/space_data
   

2. Hadoop からファイルdata.txtをローカルシステムに取得します。

   hdfs dfs -get /space_data/data.txt
   

3. ファイルが正常に取得されたことを確認します。

   ls -l data.txt
   

まとめ

この実験では、商人がローカルシステムと Hadoop HDFS の間でデータファイルを転送する必要がある宇宙取引のシナリオをシミュレートしました。Hadoop FS シェルでcopyFromLocalコマンドとgetコマンドを練習することで、ユーザーは Hadoop の分散ファイルシステムにファイルを効率的に移動させる方法を学ぶことができます。この実践的な経験は、Hadoop における基本的なファイル管理操作の理解に役立ち、ビッグデータエコシステムでの作業能力を向上させます。