77 のガイド付きシナリオラボで、Hadoop エコシステムを実践的に学びます。日常的な HDFS 操作と storage control から、MapReduce data flow、YARN resource management、そして幅広い Hive/HiveQL 課題へ進みます。
単一の線形プロジェクトではなく、大規模な練習ライブラリです。course manifest は固定順序を要求しないため、基礎から高度なデータ操作へ進むことも、強化したいスキルのラボだけを選ぶこともできます。
学習内容
このコースを修了すると、次のことができるようになります。
- 提供される HDFS、YARN、Hive 環境を設定・探索して実習する。
- filesystem shell で HDFS データを読み取り、検索、転送、削除、調査し、権限を管理する。
- HDFS の replication、block、DataNode、snapshot、storage policy、quota、削除データ整理を管理する。
- partitioner、sort、combiner、join、distributed cache を含む MapReduce shuffle 技術を適用する。
- YARN application、container、log、JAR 実行、node、scheduler、ResourceManager、NodeManager を調査する。
- Hive database と table を作成・変更し、データを load、insert、update、delete、import、export する。
- HiveQL の filter、group、aggregation、join、union、sort、distribution、function、window query を書く。
- Hive の query plan、format、partition、bucket、schema、I/O、compression、serialization、integration、security を調べる。
このコースの対象者
storage、processing、resource management、SQL 形式の分析について大量のガイド付き練習を求める Hadoop 学習者向けです。幅を広げたい初心者にも、HDFS、MapReduce、YARN、Hive を個別に練習したい既習者にも適しています。
前提知識： Linux ターミナル、ファイル、権限、基本的なデータ処理に慣れている必要があります。全体は Beginner ですが、MapReduce、YARN、高度な Hive の前に Hadoop と SQL の入門知識を強く推奨します。
学習環境： 77 のラボは提供される Hadoop 環境で実行し、詳細な手順と解答を含みます。主にコマンドと query で作業し、外部 cloud cluster や個人 service account は要件として記載されていません。
よくある質問
77 のラボをすべて順番に行う必要がありますか？
いいえ。必須の順序ではなく、非順序型の練習集として設定されています。初心者は HDFS の設定と基本ファイル操作から始め、その後 MapReduce、YARN、高度な Hive へ進むとよいでしょう。
Hadoop 実践チャレンジとの違いは何ですか？
Hadoop Practice Labs は 4 つの大きな領域に 77 のガイド付き活動を含みます。Hadoop Practice Challenges は HDFS ファイルシステムコマンドに絞った 12 の小規模なチャレンジ集です。
Spark や Pig も含まれますか？
いいえ。対象は HDFS、一部の MapReduce pattern、YARN、Hive/HiveQL です。77 のテーマに Spark と Pig はありません。
本番 Hadoop cluster を deploy・operate しますか？
いいえ。提供される学習環境で設定とコンポーネント操作を練習します。本番 infrastructure design、multi-node deployment、capacity planning、monitoring、service operation は確認された成果ではありません。
