Hadoop FS シェルをマスターする：copyFromLocal と get コマンド

はじめに

はるか遠い銀河では、異なる勢力間で進行中の宇宙戦争が繰り広げられています。銀河はまた、混沌の中で利益を得ようとする宇宙商人でにぎわっています。私たちの物語は、HadoopのHDFSファイルシステムを使って貴重なデータファイルを転送する1人の宇宙商人に焦点を当てています。商人の目標は、copyFromLocalコマンドを使ってローカルシステムからファイルをHadoopに成功裏にコピーし、getコマンドを使ってHadoopからファイルをローカルシステムに取得することです。

Skills Graph

%%%%{init: {'theme':'neutral'}}%%%% flowchart RL hadoop(("Hadoop")) -.-> hadoop/HadoopHDFSGroup(["Hadoop HDFS"]) hadoop/HadoopHDFSGroup -.-> hadoop/hdfs_setup("HDFS Setup") hadoop/HadoopHDFSGroup -.-> hadoop/fs_ls("FS Shell ls") hadoop/HadoopHDFSGroup -.-> hadoop/fs_mkdir("FS Shell mkdir") hadoop/HadoopHDFSGroup -.-> hadoop/fs_get("FS Shell copyFromLocal/get") subgraph Lab Skills hadoop/hdfs_setup -.-> lab-271871{{"Hadoop FS シェルの copyFromLocal/get"}} hadoop/fs_ls -.-> lab-271871{{"Hadoop FS シェルの copyFromLocal/get"}} hadoop/fs_mkdir -.-> lab-271871{{"Hadoop FS シェルの copyFromLocal/get"}} hadoop/fs_get -.-> lab-271871{{"Hadoop FS シェルの copyFromLocal/get"}} end

Hadoopにファイルをコピーする

このステップでは、宇宙商人は、ローカルシステムからdata.txtという名前のファイルをHadoop HDFSにコピーする必要があります。

ターミナルを開き、以下の手順に従って始めましょう。

適切な権限のためにhadoopユーザーに切り替えます。
```
su - hadoop
```
Hadoopにspace_dataという名前のディレクトリを作成します。
```
hdfs dfs -mkdir /space_data
```
ローカルファイルdata.txtをHadoopにコピーします。
```
hdfs dfs -copyFromLocal /home/hadoop/data.txt /space_data/
```
ファイルが正常にコピーされたことを確認します。
```
hdfs dfs -ls /space_data
```

Hadoopからファイルを取得する

今、宇宙商人は、Hadoopからファイルdata.txtを取得して、ローカルシステムに保存する必要があります。

取得したファイルを保存するディレクトリに移動します。
```
mkdir /home/hadoop/space_data && cd /home/hadoop/space_data
```
Hadoopからファイルdata.txtをローカルシステムに取得します。
```
hdfs dfs -get /space_data/data.txt
```
ファイルが正常に取得されたことを確認します。
```
ls -l data.txt
```

まとめ

この実験では、商人がローカルシステムとHadoop HDFSの間でデータファイルを転送する必要がある宇宙取引のシナリオをシミュレートしました。Hadoop FSシェルでcopyFromLocalコマンドとgetコマンドを練習することで、ユーザーはHadoopの分散ファイルシステムにファイルを効率的に移動させる方法を学ぶことができます。この実践的な経験は、Hadoopにおける基本的なファイル管理操作の理解に役立ち、ビッグデータエコシステムでの作業能力を向上させます。