HDFS にファイルを作成してアップロードする方法

はじめに

Hadoop分散ファイルシステム (HDFS) は、Hadoopエコシステムの重要なコンポーネントであり、ビッグデータアプリケーションに対して信頼性が高く拡張性のあるストレージソリューションを提供します。このチュートリアルでは、HDFSにファイルを作成してアップロードするプロセスを案内し、Hadoop環境内でデータを効果的に管理できるようにします。

Skills Graph

Hadoop分散ファイルシステム (HDFS) のはじめに

Hadoop分散ファイルシステム (HDFS) は、汎用ハードウェアのクラスタ全体にわたって大規模なデータセットを格納および処理するように設計された分散ファイルシステムです。これはApache Hadoopエコシステムの核心的なコンポーネントであり、ビッグデータアプリケーションで広く使用されています。

HDFSとは何か？

HDFSは、アプリケーションデータへの高スループットなアクセスを提供する、高い耐障害性と拡張性を持つファイルシステムです。低コストのハードウェア上で動作するように設計されており、大規模なデータセットの格納と処理を扱うことができます。HDFSはマスター・スレーブアーキテクチャに従っており、マスターノードはNameNodeと呼ばれ、スレーブノードはDataNodeと呼ばれます。

HDFSの主要な特徴

• 拡張性：HDFSは、単一のクラスタ内でペタバイト単位のデータと数千のノードを扱うことができます。
• 耐障害性：HDFSは自動的にデータを複数のDataNodeに複製し、ハードウェア障害が発生した場合でもデータの可用性を保証します。
• 高スループット：HDFSはバッチ処理に最適化されており、大規模なデータ転送に対して高いスループットを提供することができます。
• 互換性：HDFSは幅広いデータ形式と互換性があり、さまざまなビッグデータツールやフレームワークと統合することができます。

HDFSアーキテクチャ

HDFSアーキテクチャは以下の主要なコンポーネントで構成されています。

1. NameNode：NameNodeは、ファイルシステムの名前空間を管理するマスターノードで、ファイルのメタデータやクラスタ全体のデータブロックの位置を管理します。
2. DataNode：DataNodeは、実際のデータブロックを格納し、データの読み取り、書き込み、複製などのデータ操作を実行するスレーブノードです。
3. Client：Clientは、HDFSクラスタとやり取りしてファイルの作成、読み取り、書き込みなどのファイル操作を実行するアプリケーションまたはユーザーです。

HDFSのユースケース

HDFSは、以下を含むさまざまなビッグデータアプリケーションで広く使用されています。

• バッチ処理：HDFSは、ログ分析、ウェブクローリング、科学計算などの大規模なデータセットのバッチ処理に適しています。
• データウェアハウジング：HDFSは、データウェアハウジングソリューションのストレージ層としてよく使用され、大量の構造化および非構造化データを格納および処理するための拡張性がありコスト効率の高い方法を提供します。
• 機械学習とAI：HDFSは、機械学習およびAIモデルのトレーニングに必要な大規模なデータセットを格納および処理するための一般的な選択肢です。
• ストリーミングデータ：HDFSは、Apache SparkやApache Flinkなどの他のHadoopエコシステムコンポーネントと組み合わせて、リアルタイムまたはほぼリアルタイムのストリーミングデータを処理するために使用することができます。

HDFSでファイルを作成する

HDFSでファイルを作成するには、Hadoopコマンドラインインターフェイス (CLI) またはHDFS Java APIを使用できます。このセクションでは、Hadoop CLIを使用してHDFSでファイルを作成する方法を説明します。

前提条件

HDFSでファイルを作成する前に、実行中のHadoopクラスタが必要であり、ファイルシステムとやり取りするための必要な権限を持っている必要があります。システムにHadoop CLIがインストールされ、設定されていることを確認してください。

Hadoop CLIを使用してHDFSでファイルを作成する

1. Ubuntu 22.04システムでターミナルを開きます。
2. 以下のコマンドを実行してHadoopサービスを起動します。

sudo service hadoop-namenode start
sudo service hadoop-datanode start

3. hdfs dfs コマンドを使用してHDFSでファイルを作成します。基本的な構文は次のとおりです。

hdfs dfs -put <local_file_path> <hdfs_file_path>

ここで、<local_file_path> はローカルシステム上のファイルのパスで、<hdfs_file_path> はHDFSでファイルを作成したいパスです。

たとえば、HDFSの /user/username/ ディレクトリに example.txt という名前のファイルを作成するには、次のコマンドを実行します。

hdfs dfs -put /path/to/local/example.txt /user/username/example.txt

4. 以下のコマンドを実行して、ファイルがHDFSに作成されたことを確認します。

hdfs dfs -ls /user/username/

これにより、/user/username/ ディレクトリ内のファイルとディレクトリが一覧表示され、新しく作成された example.txt ファイルも含まれます。

Java APIを使用してHDFSでファイルを作成する

あるいは、HDFS Java APIを使用してプログラムでHDFSにファイルを作成することもできます。以下はサンプルのJavaコードスニペットです。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
import java.net.URI;

public class CreateFileInHDFS {
    public static void main(String[] args) throws IOException {
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(URI.create("hdfs://namenode:8020"), conf);

        Path filePath = new Path("/user/username/example.txt");
        fs.create(filePath).close();

        System.out.println("File created in HDFS: " + filePath);
    }
}

この例では、HDFSクラスタの /user/username/ ディレクトリに example.txt という名前の新しいファイルを作成しています。

HDFSへのファイルアップロード

HDFSでファイルを作成した後、次のステップはそのファイルをHDFSクラスタにアップロードすることです。Hadoop CLIまたはHDFS Java APIを使用して、ファイルをHDFSにアップロードすることができます。このセクションでは、両方の方法を説明します。

Hadoop CLIを使用してHDFSへファイルをアップロードする

1. Ubuntu 22.04システムでターミナルを開きます。
2. 以下のコマンドを実行してHadoopサービスを起動します。

sudo service hadoop-namenode start
sudo service hadoop-datanode start

3. hdfs dfs コマンドを使用して、ファイルをHDFSにアップロードします。基本的な構文は次のとおりです。

hdfs dfs -put <local_file_path> <hdfs_file_path>

ここで、<local_file_path> はローカルシステム上のファイルのパスで、<hdfs_file_path> はHDFS内でファイルをアップロードしたいパスです。

たとえば、ローカルシステム上の example.txt という名前のファイルをHDFSの /user/username/ ディレクトリにアップロードするには、次のコマンドを実行します。

hdfs dfs -put /path/to/local/example.txt /user/username/example.txt

4. 以下のコマンドを実行して、ファイルがHDFSにアップロードされたことを確認します。

hdfs dfs -ls /user/username/

これにより、/user/username/ ディレクトリ内のファイルとディレクトリが一覧表示され、アップロードされた example.txt ファイルも含まれます。

Java APIを使用してHDFSへファイルをアップロードする

あるいは、HDFS Java APIを使用してプログラムでファイルをHDFSにアップロードすることもできます。以下はサンプルのJavaコードスニペットです。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
import java.net.URI;

public class UploadFileToHDFS {
    public static void main(String[] args) throws IOException {
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(URI.create("hdfs://namenode:8020"), conf);

        Path localFilePath = new Path("/path/to/local/example.txt");
        Path hdfsFilePath = new Path("/user/username/example.txt");

        fs.copyFromLocalFile(localFilePath, hdfsFilePath);

        System.out.println("File uploaded to HDFS: " + hdfsFilePath);
    }
}

この例では、ローカルシステム上の example.txt ファイルをHDFSクラスタの /user/username/ ディレクトリにアップロードしています。

まとめ

このHadoopチュートリアルで概説された手順に従うことで、Hadoop分散ファイルシステム (HDFS) にファイルを作成してアップロードする方法を学ぶことができます。この知識により、Hadoopベースのアプリケーション内でデータを効率的に格納し、アクセスすることが可能になり、Hadoopエコシステムの全ての可能性を引き出すことができます。