Hadoop 実践チャレンジ

このコースには Hadoop のチャレンジが多数含まれています。各チャレンジは詳細な説明と解決策を備えた小規模な Hadoop プロジェクトです。これらのチャレンジを解くことで、Hadoop のスキルを練習し、問題解決能力を向上させ、クリーンで効率的なコードの書き方を学ぶことができます。

データサイエンスLinux

💡 このチュートリアルは英語版からAIによって翻訳されています。原文を確認するには、 ここをクリックしてください

はじめに

12 の焦点を絞ったチャレンジで、HDFS の基本的なファイル操作を練習します。各アクティビティには小さなファイルシステム課題、手順、解答があり、目的の状態を適切な Hadoop ファイルシステムコマンドとパスへ変換する力を養います。

ディレクトリの表示と作成、ファイルの読み取りと転送、パスの検査、アクセス情報の変更など、日常的な HDFS データ操作に限定しています。Hadoop 全体の概説ではなく、コンパクトなスキル練習です。

学習内容

このコースを修了すると、次のことができるようになります。

  • HDFS パスを一覧表示し、データ整理用のディレクトリを作成する。
  • HDFS 上のファイル内容を直接読み、パスが条件を満たすか検査する。
  • HDFS 内の場所の間でファイルやディレクトリをコピー、移動する。
  • ローカルファイルを HDFS へ upload し、HDFS データをローカルへ download する。
  • 新しいローカルデータを HDFS の既存ファイル末尾へ追加する。
  • 適切なコマンドで HDFS の group owner と file owner を変更する。
  • HDFS パスへ permission mode を適用し、所有権変更と権限変更を区別する。
  • 適切な hadoop fs 操作を選び、処理後のファイルシステム状態を確認する。

このコースの対象者

HDFS の役割を理解しており、ファイルシステム shell を短いシナリオで練習したい方に適しています。コマンドを一度学び、より大きなデータ処理へ進む前に反復したい Hadoop 初心者にも役立ちます。

前提知識: Linux ターミナル、ファイルとディレクトリ、Unix の基本的な所有権と権限に慣れている必要があります。完全な概念入門ではなくチャレンジ中心なので、HDFS パスと hadoop fs を見た経験を推奨します。

学習環境: コース提供の Hadoop 環境で行う 12 のコマンドラインチャレンジです。対象はファイル操作のみで、外部クラウド cluster の構築や個人 service account の接続は不要です。

よくある質問

Hadoop エコシステム全体を扱いますか?

いいえ。HDFS ファイルシステムコマンドに限定されます。cluster 構築、MapReduce、YARN、Hive、Pig、Spark、performance tuning、耐障害 pipeline は 12 のチャレンジに含まれません。

Hadoop 実践ラボとの違いは何ですか?

こちらは 12 の HDFS shell 操作に絞った小規模なチャレンジ集です。Hadoop Practice Labs はより広く、HDFS 管理、MapReduce、YARN、Hive などのガイド付き作業を含みます。

チャレンジは完全にノーヒントですか?

いいえ。各チャレンジは詳細な手順と解答を備えた小課題として説明されています。操作は自分で行いますが、必要に応じて提供された支援を使えます。

自分の Hadoop cluster や cloud account が必要ですか?

外部 cluster や cloud account は記載されていません。提供環境で実行するため、HDFS コマンドの選択と適用に集中できます。

講師

labby
Labby
Labby is the LabEx teacher.

おすすめ

no data