初心者のための Hadoopでは、小売業者の日次ファイルを使ってビッグデータの保存とバッチ処理を学びます。実際の Hadoop 環境で HDFS、MapReduce、YARN の役割を理解し、入力の準備、計算の実行、結果の確認へ進みます。
9つのガイド付き実験と3つのチャレンジで構成されます。実験で概念と操作を学び、チャレンジで既習の技能を新しいデータに応用します。各演習は必要なファイルとサービスを個別に準備します。
学習内容
修了後は、次のことができるようになります。
- ローカルファイルと HDFS を区別し、Hadoop の設定を調べる。
- 元の入力を保ちながらファイルをアップロード、整理、コピー、エクスポートする。
- ブロックとレプリカを確認し、ファイルとディレクトリの権限を試す。
- キーと値のペアを Map、Shuffle、Reduce の順に追う。
- YARN ジョブの投入、状態とログの確認、結果の検証、別出力への再実行を行う。
- 入力不足、出力先の競合、接続エラー、タスク失敗を診断する。
このコースの対象者
ビッグデータやデータエンジニアリングを学び始め、クラスター管理の前に準備済み Hadoop システムを使いたい方に適しています。
前提知識： 基本的なターミナル操作。Hadoop、Java、Python の知識は不要です。
学習環境： LabEx がブラウザー内に準備済み Linux ターミナルを提供します。単一ノードで実際の Hadoop 操作を学び、本番クラスターの構築は扱いません。
よくある質問
ビッグデータやプログラミングを知らなくても始められますか？
はい。基本的なターミナル操作ができれば始められます。Hadoop を使う理由と、HDFS による保存、MapReduce による処理、YARN によるリソース管理の関係から説明します。Java や Python を書く必要はありません。
ビッグデータ学習パスの中で、どの位置にあるコースですか？
まずこのコースで保存とバッチ処理の基礎を学び、その後 Hive、Spark、Kafka へ進むことをお勧めします。チャレンジはガイド付き実験の後に配置され、このコースで学習済みの技能だけを使います。
Hadoop のインストールやクラスターのレンタルは必要ですか？
いいえ。各演習にブラウザーで使える準備済み LabEx 環境があります。単一ノードで実際の Hadoop サービスを操作しますが、本番環境の耐障害性や分散処理性能を実証する演習ではありません。
